ADV-007숲모델 해부형
MoE
Mixture of Experts
학습 난이도
숲
여러 전문가 모델 중 일부를 선택해 효율적으로 답변하는 구조.
한 문장으로 이해하기
MoE는 모델 안에 여러 전문가를 두고, 질문마다 그중 일부만 골라 답하게 하는 구조입니다. 전체를 다 쓰지 않아 더 효율적으로 큰 모델을 운영할 수 있습니다.
이렇게 떠올리세요
병원에서 증상에 맞는 전문의에게만 진료를 맡기는 것과 같습니다.
실제 예시
최신 대형 모델들은 MoE로 일부 전문가만 켜서 비용을 줄입니다.
핵심 한 문장
MoE는 질문마다 필요한 전문가만 골라 쓰는 구조입니다.
위 문장을 보지 않고 자기 말로 다시 설명해보면 오래 기억에 남습니다.