https://jesamkim.github.io/ai-tech-blog/tags/activation-memory/ Recent content in Activation Memory on AI Tech Blog Hugo -- 0.147.6 ko Wed, 15 Apr 2026 10:00:00 +0900 https://jesamkim.github.io/ai-tech-blog/posts/2026-04-16-distributed-training-memory-analysis/ Wed, 15 Apr 2026 10:00:00 +0900 https://jesamkim.github.io/ai-tech-blog/posts/2026-04-16-distributed-training-memory-analysis/ Neural Network 학습 루프의 각 단계에서 GPU 메모리가 어떻게 소비되는지 분석합니다. SGD부터 Adam까지 optimizer별 메모리 수식, activation memory의 batch size 비례 관계, 그리고 OOM 대응 전략까지 정리합니다.