Data Parallelism on AI Tech Blog

Data Parallelism on AI Tech Blog https://jesamkim.github.io/ai-tech-blog/tags/data-parallelism/ Recent content in Data Parallelism on AI Tech Blog Hugo -- 0.147.6 ko Wed, 15 Apr 2026 11:00:00 +0900 분산학습의 이해 Part 2 - Data Parallelism: 데이터를 나눠 메모리를 줄이다 https://jesamkim.github.io/ai-tech-blog/posts/2026-04-16-data-parallelism-deep-dive/ Wed, 15 Apr 2026 11:00:00 +0900 https://jesamkim.github.io/ai-tech-blog/posts/2026-04-16-data-parallelism-deep-dive/ Parameter Server 아키텍처의 동작 원리, 학습 4단계, Centralized Training과의 수학적 동치성, 메모리 분석, 그리고 DP의 근본적 한계를 분석합니다. ResNet-18 ImageNet 예시로 실제 메모리 절감 효과를 계산합니다.