ADV-006숲모델 해부형
위치 인코딩
Positional Encoding
학습 난이도
숲
문장 속 단어의 순서 정보를 AI에게 알려주는 방식.
한 문장으로 이해하기
위치 인코딩은 단어가 문장에서 몇 번째에 있는지를 모델에 알려주는 방법입니다. 트랜스포머는 순서를 자동으로 알지 못해 이 정보를 따로 더해 줍니다.
이렇게 떠올리세요
줄을 선 사람들에게 번호표를 나눠 주어 순서를 표시하는 것과 같습니다.
실제 예시
'개가 사람을 물었다'와 '사람이 개를 물었다'를 구별하는 데 위치 정보가 쓰입니다.
핵심 한 문장
위치 인코딩은 단어의 순서를 알려 주는 번호표입니다.
위 문장을 보지 않고 자기 말로 다시 설명해보면 오래 기억에 남습니다.