https://jesamkim.github.io/ai-tech-blog/tags/prefix-caching/ Recent content in Prefix Caching on AI Tech Blog Hugo -- 0.147.6 ko Fri, 11 Sep 2026 21:44:07 +0900 https://jesamkim.github.io/ai-tech-blog/posts/prefix-aware-routing/ Fri, 11 Sep 2026 21:44:07 +0900 https://jesamkim.github.io/ai-tech-blog/posts/prefix-aware-routing/ LLM의 prefix cache를 여러 서버에서 효율적으로 재사용하려면 요청 라우팅도 함께 설계해야 합니다. SageMaker의 prefix-aware routing을 사례로 캐시 적중률과 부하 분산, 첫 토큰 지연의 관계를 살펴봅니다.