프롬프트 캐싱 (Prompt Caching)
대화 맥락을 저장하여 재사용함으로써 연산 속도를 높이고 비용을 절감하는 기술이지만, 캐시 유지 시간이 단축될 경우 동일한 데이터를 다시 읽어 들이며 토큰을 중복 소모하는 문제가 발생함
1 / 3
용례
"일정 시간 휴식 후 복귀하면 대화 캐시가 사라져 인공지능이 코드베이스를 처음부터 다시 읽어야 하므로 이미 지불한 토큰을 다시 결제해야 하는 불합리한 상황임."
"이전 사용된 프롬프트를 다시 처리하지 않도록 하여 비용을 절감함"
"5분 TTL 설정 시 세션 중 5분만 멈춰도 전체 캐시가 만료되어 다시 작성 비용이 발생함."