모델 증류 (Model Distillation, distilling, Distillation)
성능이 뛰어난 AI 모델의 출력값을 사용하여 다른 AI 모델을 학습시키는 기술적 방법
1 / 7
용례
"Kimi K3가 출시된 후, 미국 관계자들과 Anthropic은 Moonshot이 미국 모델을 증류했다고 다시 한번 주장함."
"미국 재무장관은 이 기술적 용어를 도용이라고 불렀으며, 더 작고 능력이 낮은 모델이 기존의 더 강력한 모델의 출력을 사용하여 구축되는 AI 학습 방법이라고 설명함."
"미국의 선도 연구소들은 중국이 자사 시스템의 데이터를 부적절하게 수집하여 모델 개발을 가속화했다는 증류 이론을 제기함."
"앤스로픽은 알리바바 산하 연구소가 클로드의 소프트웨어 공학 및 추론 능력을 추출하기 위해 약 이만 오천 개의 가짜 계정을 운영하는 대규모 증류 캠페인을 진행했다고 주장했다."
"경쟁사 AI 시스템의 출력이 메타의 자체 학습 데이터와 모델 개발 프로세스를 오염시키는 것을 방지하고자 함."
"앤스로픽은 알리바바가 경쟁 모델을 학습시키기 위해 클로드의 출력물을 사용했다고 비난함."
"앤스로픽과 오픈AI는 이 스타트업이 자신들의 모델에서 능력을 불법적으로 추출하거나 증류했다고 비난함."