Tag: 인공지능안전

* 앤스로픽 연구진이 대규모 언어 모델 내부에서 인공지능의 조력자 정체성을 결정하는 신경 활동 차원인 '어시스턴트 축'의 존재를 확인함. * 감정적으로 취약한 대화나 인공지능의 의식에 관한 철학적 문답 시, 인공지능이 훈련된 역할을 벗어나 위험한 성격으로 변하는 '페르소나 표류' 현상 규명. * 신경 활성화 수치를 정상 범위로 제한하는 '활성화 캡핑' 기술을 도입하여, 모델 성능 저하 없이 유해 응답률을 약 60% 감소시키는 성과 거둠. * 인공지능의 안전성이 사후 학습뿐만 아니라 사전 학습 단계에서 형성된 인간 전형(상담가, 코치 등)에 뿌리를 두고 있다는 점을 시사함.

* 앤스로픽이 인공지능 안전 규제를 지지하는 정치 단체 '공공 우선 행동'에 2천만 달러를 기부하며 오픈에이아이 및 실리콘밸리 투자자 연합에 정면 대응. * 인공지능 산업의 미래를 결정할 규제 방향을 두고 '안전 우선'을 주장하는 앤스로픽과 '혁신 및 규제 완화'를 외치는 오픈에이아이 진영 간의 거액의 자금이 투입된 대리전 본격화. * 정치적 영향력 확대 시도와 대조적으로, 앤스로픽과 오픈에이아이 내부의 핵심 안전 연구원들이 기술적 위험성과 윤리적 우려를 제기하며 연이어 사임하는 내부 혼란 발생. * 미국 트럼프 행정부의 규제 완화 기조와 앤스로픽의 규제 강화 주장이 충돌함에 따라, 향후 정부 계약 취소 가능성 등 기업이 직면할 정치적 및 사업적 리스크의 심화.