Megatron-LM on AI Tech Blog https://jesamkim.github.io/ai-tech-blog/tags/megatron-lm/ Recent content in Megatron-LM on AI Tech Blog Hugo -- 0.147.6 ko Wed, 15 Apr 2026 13:00:00 +0900 분산학습의 이해 Part 4 - Tensor/Hybrid Parallelism과 MoE https://jesamkim.github.io/ai-tech-blog/posts/2026-04-16-distributed-training-part4-tensor-hybrid-moe/ Wed, 15 Apr 2026 13:00:00 +0900 https://jesamkim.github.io/ai-tech-blog/posts/2026-04-16-distributed-training-part4-tensor-hybrid-moe/ Tensor Parallelism의 Row/Column Split 원리, Megatron-LM의 교대 방식, 2D/3D Hybrid Parallelism 조합 전략, 그리고 MoE와 Expert Parallelism까지 정리합니다. 4대 병렬화 기법의 종합 비교와 의사결정 가이드를 제공합니다.