지연 시간 (Latency, latency)
사용자의 입력부터 모델의 응답이 출력되기까지 걸리는 시간
1 / 3
용례
"낮은 지연 시간과 높은 처리량이 필수적인 개발자 워크플로우를 위해 설계됨."
"네트워크 속도 측정 시 다운로드 및 업로드 속도와 함께 지연 시간도 측정하여 인터넷 연결 상태를 정확하게 파악할 수 있습니다."
"웹소켓 연결 도입과 추론 스택 최적화를 통해 응답당 비용을 80% 줄였으며 첫 번째 결과물이 나타나는 시간을 절반으로 단축함."