https://jesamkim.github.io/ai-tech-blog/tags/1f1b/ Recent content in 1F1B on AI Tech Blog Hugo -- 0.147.6 ko Wed, 15 Apr 2026 12:00:00 +0900 https://jesamkim.github.io/ai-tech-blog/posts/2026-04-16-pipeline-parallelism-evolution/ Wed, 15 Apr 2026 12:00:00 +0900 https://jesamkim.github.io/ai-tech-blog/posts/2026-04-16-pipeline-parallelism-evolution/ Pipeline Parallelism의 진화를 추적합니다. Naive Pipeline의 낮은 GPU 활용률에서 시작해, GPipe의 micro-batch, 1F1B의 교차 실행, ZBH의 Backprop 분리까지 bubble을 줄여온 과정을 분석합니다.