AI·도구 · 참고
증류Distillation
큰 모델의 답변을 교재 삼아 작은 모델을 훈련시키는 방법.
특정 작업 하나만 잘하면 되는 경우, 큰 모델 수준의 결과를 훨씬 싸고 빠르게 낼 수 있습니다. 범용 능력은 따라오지 않습니다.
“분류 작업만 담당할 작은 모델을 큰 모델 출력으로 학습시켰다.”
다른 이름distillation · 지식 증류
AI·도구 · 참고
큰 모델의 답변을 교재 삼아 작은 모델을 훈련시키는 방법.
특정 작업 하나만 잘하면 되는 경우, 큰 모델 수준의 결과를 훨씬 싸고 빠르게 낼 수 있습니다. 범용 능력은 따라오지 않습니다.
“분류 작업만 담당할 작은 모델을 큰 모델 출력으로 학습시켰다.”
다른 이름distillation · 지식 증류