Inference

검색 도구를 호출하는 에이전트를 생각해 보겠습니다. 검색 요청이 완성되면 다음 판단에 필요한 것은 검색 결과입니다. 그런데 생성기가 그 뒤의 텍스트까지 계산하고 실행 환경은 그 내용을 버린다면, 계산을 많이 했어도 작업에는 도움이 되지 않습니다. 이 상황은 설명을 위한 예시입니다. 앞서 Prefix-aware Routing 글에서는 이미 계산한 입력을 재사용할 서버를 선택하는 문제를 다뤘습니다. 이번에는 생성 중인 응답 안에서 어떤 계산을 계속할지 살펴보겠습니다. 토큰 확정과 계산 범위를 함께 조절합니다 Diffusion 언어모델을 이해하는 출발점은 아직 정하지 않은 토큰 위치를 여러 번 예측하며 채워 간다는 점입니다. 여러 위치를 병렬로 처리할 수 있지만, 반복 계산이 필요합니다. 블록 단위 생성에서는 이런 작업을 일정한 구간 안에서 수행합니다. 따라서 병렬 생성에서도 계산 횟수와 계산할 위치의 수를 함께 살펴봐야 합니다. ...

LLM 서버에서 prefix caching을 켰습니다. 같은 시스템 프롬프트를 반복해서 보내면 이미 계산한 부분을 재사용할 수 있습니다. 그런데 서버를 여러 대로 늘린 뒤에는 캐시를 켜기 전과 응답 속도가 크게 다르지 않습니다. 이런 상황을 가정해 보겠습니다. 첫 요청은 서버 A로 들어갔고, 같은 프롬프트로 시작하는 다음 요청은 서버 B로 들어갔습니다. A에 계산 결과가 남아 있어도 B가 그 결과를 사용할 수 없다면, B는 같은 부분을 다시 계산해야 합니다. 캐시 기능과 요청을 보내는 방식이 서로 맞지 않는 상황입니다. ...

🎧 🎧 이 글을 팟캐스트로 듣기 브라우저가 오디오 재생을 지원하지 않습니다. 1. Inference Kingdom의 시대 NVIDIA CEO Jensen Huang은 GTC 2026 키노트에서 “2025년부터 2027년까지 GPU 수요만으로 1조 달러 규모의 매출이 예상된다"고 밝혔습니다. 이 수치는 단순한 전망이 아니라, AI 인프라 투자의 규모를 가늠할 수 있는 기준점입니다. ...