ADV-009숲모델 해부형
희소 모델
Sparse Model
학습 난이도
숲
필요한 일부 부분만 활성화해 효율을 높이는 모델 구조.
한 문장으로 이해하기
희소 모델은 입력마다 모델의 필요한 일부만 켜서 계산하는 구조입니다. 전체를 다 쓰지 않아 같은 비용으로 더 큰 모델을 만들 수 있습니다.
이렇게 떠올리세요
필요한 방의 불만 켜고 나머지는 꺼 두어 전기를 아끼는 것과 같습니다.
실제 예시
MoE는 대표적인 희소 모델 방식입니다.
핵심 한 문장
희소 모델은 필요한 부분만 켜서 효율을 높입니다.
위 문장을 보지 않고 자기 말로 다시 설명해보면 오래 기억에 남습니다.