KV 캐시 공유 (KV Cache Sharing)
드래프트 모델과 타겟 모델 간의 연산 데이터를 공유하여 불필요한 재계산을 방지하는 효율화 기술
1 / 2
용례
"컨텍스트의 재계산이 발생하지 않도록 드래프트 모델과 타겟 모델에서 KV 캐시를 공유함."
"드래프터 모델은 타겟 모델의 활성화를 원활하게 활용하고 KV 캐시를 공유하므로, 더 큰 모델이 이미 파악한 컨텍스트를 재계산하는 데 시간을 낭비할 필요가 없습니다."
드래프트 모델과 타겟 모델 간의 연산 데이터를 공유하여 불필요한 재계산을 방지하는 효율화 기술
"컨텍스트의 재계산이 발생하지 않도록 드래프트 모델과 타겟 모델에서 KV 캐시를 공유함."
"드래프터 모델은 타겟 모델의 활성화를 원활하게 활용하고 KV 캐시를 공유하므로, 더 큰 모델이 이미 파악한 컨텍스트를 재계산하는 데 시간을 낭비할 필요가 없습니다."