ADV-029숲응답 가속형
스페큘레이티브 디코딩
Speculative Decoding
학습 난이도
숲
작은 모델이 먼저 예측하고 큰 모델이 확인해 답변을 빠르게 만드는 방법.
한 문장으로 이해하기
스페큘레이티브 디코딩은 작은 모델이 답을 빠르게 미리 써 보고, 큰 모델이 맞는지 확인해 속도를 높이는 기법입니다. 정확도는 큰 모델을 따르되 더 빨라집니다.
이렇게 떠올리세요
초안을 빨리 쓰는 조수와 검토하는 전문가가 짝을 이루는 것과 같습니다.
실제 예시
작은 모델이 다음 단어를 예측하면 큰 모델이 한 번에 검증해 속도를 냅니다.
핵심 한 문장
스페큘레이티브 디코딩은 미리 쓰고 검증해 답을 빠르게 냅니다.
위 문장을 보지 않고 자기 말로 다시 설명해보면 오래 기억에 남습니다.