ADV-019숲훈련 진화형
증류
Distillation
학습 난이도
숲
큰 모델의 능력을 작은 모델에 옮겨 가볍게 만드는 방법.
한 문장으로 이해하기
증류는 크고 똑똑한 모델의 답변과 판단을 작은 모델에 가르쳐, 가볍지만 쓸 만한 모델을 만드는 방법입니다.
이렇게 떠올리세요
전문가의 노하우를 요약 교재로 만들어 후배에게 전수하는 것과 같습니다.
실제 예시
거대 모델을 교사로 삼아 휴대폰용 소형 모델을 증류로 만듭니다.
핵심 한 문장
증류는 큰 모델의 능력을 작은 모델로 옮기는 방법입니다.
위 문장을 보지 않고 자기 말로 다시 설명해보면 오래 기억에 남습니다.