필요한 계산을 고르는 에이전트: Diffusion 언어모델의 메타인지 디코딩
검색 도구를 호출하는 에이전트를 생각해 보겠습니다. 검색 요청이 완성되면 다음 판단에 필요한 것은 검색 결과입니다. 그런데 생성기가 그 뒤의 텍스트까지 계산하고 실행 환경은 그 내용을 버린다면, 계산을 많이 했어도 작업에는 도움이 되지 않습니다. 이 상황은 설명을 위한 예시입니다. 앞서 Prefix-aware Routing 글에서는 이미 계산한 입력을 재사용할 서버를 선택하는 문제를 다뤘습니다. 이번에는 생성 중인 응답 안에서 어떤 계산을 계속할지 살펴보겠습니다. 토큰 확정과 계산 범위를 함께 조절합니다 Diffusion 언어모델을 이해하는 출발점은 아직 정하지 않은 토큰 위치를 여러 번 예측하며 채워 간다는 점입니다. 여러 위치를 병렬로 처리할 수 있지만, 반복 계산이 필요합니다. 블록 단위 생성에서는 이런 작업을 일정한 구간 안에서 수행합니다. 따라서 병렬 생성에서도 계산 횟수와 계산할 위치의 수를 함께 살펴봐야 합니다. ...