ADV-011숲훈련 진화형
사전학습
Pretraining
학습 난이도
숲
AI가 대규모 데이터를 먼저 학습해 기본 능력을 만드는 과정.
한 문장으로 이해하기
사전학습은 모델이 방대한 글과 데이터를 미리 읽으며 언어의 기본기를 쌓는 단계입니다. 이 과정에서 세상에 대한 폭넓은 지식이 모델에 담깁니다.
이렇게 떠올리세요
전공을 정하기 전에 폭넓게 기초 교양을 쌓는 학생과 같습니다.
실제 예시
인터넷 규모의 텍스트로 모델을 먼저 학습시키는 것이 사전학습입니다.
핵심 한 문장
사전학습은 모델이 기본기를 쌓는 첫 번째 학습입니다.
위 문장을 보지 않고 자기 말로 다시 설명해보면 오래 기억에 남습니다.