https://jesamkim.github.io/ai-tech-blog/tags/long-context/ Recent content in Long Context on AI Tech Blog Hugo -- 0.147.6 ko Sat, 25 Jul 2026 10:00:00 +0900 https://jesamkim.github.io/ai-tech-blog/posts/2026-07-25-inkling-975b-moe-open-weights-anatomy/ Sat, 25 Jul 2026 10:00:00 +0900 https://jesamkim.github.io/ai-tech-blog/posts/2026-07-25-inkling-975b-moe-open-weights-anatomy/ Thinking Machines Lab의 첫 오픈웨이트 모델 Inkling(975B MoE)의 아키텍처 선택을 분해합니다. sliding-window 55/66, learned relative-position bias, kernel-4 convolution이 왜 '벤치마크 1등'보다 '파인튜닝 베이스'를 겨냥하는지 살펴봅니다.