ADV-028숲응답 가속형
추론 비용
Inference Cost
학습 난이도
숲
AI 모델이 답변을 생성할 때 드는 계산 비용.
한 문장으로 이해하기
추론 비용은 모델이 답변 하나를 만들 때 드는 계산과 돈입니다. 모델 크기, 입력 길이, 출력 길이에 따라 달라집니다.
이렇게 떠올리세요
전기 요금처럼 쓴 만큼 매겨지는 비용과 같습니다.
실제 예시
긴 문서를 통째로 넣으면 토큰이 늘어 추론 비용도 커집니다.
핵심 한 문장
추론 비용은 답을 한 번 만들 때 드는 계산 비용입니다.
위 문장을 보지 않고 자기 말로 다시 설명해보면 오래 기억에 남습니다.