프롬프트 인젝션 (Prompt Injection)
AI 모델의 지침이나 의도를 외부의 악성 입력(프롬프트)을 통해 우회하거나 조작하여, 모델이 의도치 않은 행위(민감 정보 유출, 시스템 제어권 획득, 악성 코드 실행 등)를 하도록 강제하는 보안 취약점. 특히 에이전트 AI는 외부 API 및 시스템 접근 권한을 가지고 있기 때문에, 이 취약점이 성공적으로 악용될 경우 그 피해 범위가 일반 챗봇보다 훨씬 광범위함
1 / 4
용례
"시스코 시스템즈의 위협 연구팀은 해당 플랫폼이 프롬프트 인젝션 공격에 취약하여 '완전한 악몽'이라고 솔직하게 언급했습니다."
"오픈클로의 '기억' 기능은 과거의 악성 명령을 재실행할 수 있는 위험을 증가시켜 프롬프트 인젝션 공격의 위협을 증폭시킵니다."
"이 공격 벡터는 AI 비서가 악성 지침을 읽고 실행하도록 요구하며, 이는 예를 들어 웹 검색 자료나 URL에 숨겨져 있을 수 있습니다."
"Anthropic은 프롬프트 인젝션과 같은 보안 취약점에 대응하기 위해 다중 보안 계층을 구축하고 있습니다."