증류 (Distillation)
성능이 뛰어난 대형 폐쇄형 모델이 생성한 고품질 데이터를 학습 소스로 활용하여 상대적으로 크기가 작은 오픈 모델의 성능을 효율적으로 끌어올리는 기술적 공정
1 / 2
용례
"과거에는 모델의 결과물 전체를 학습에 썼다면, 이제는 복잡한 강화학습 환경과 프롬프트를 추출하여 성능을 복제하는 더 창의적인 접근이 필요함."
"연구 단계의 딥 싱크 모델이 가진 강력한 추론 능력을 일반 사용자들이 사용하는 프로 모델로 신속하게 이전하여 일주일 만에 전 세계에 배포하는 놀라운 속도를 보여주었습니다."