왜 프루닝인가 — 모델 압축의 필요성과 프루닝의 위치 GPT-3의 175B 파라미터가 세상을 놀라게 한 것이 불과 몇 년 전인데, 이제는 LLaMA 70B를 “비교적 작은 모델"이라 부르는 시대가 되었습니다. 모델 크기가 폭증하면서 추론 비용, GPU 메모리, 응답 지연(latency) 문제는 더 이상 연구실만의 고민이 아니라 서비스 전체의 병목이 되고 있습니다. 개인적으로 70B 모델을 단일 A100 80GB에 올려보려 할 때마다 OOM(Out of Memory)을 마주치는데, 이럴 때 압축의 필요성을 절실히 느끼게 됩니다. 모델 압축 기법의 전체 지형도 이 문제를 해결하기 위한 대표적인 모델 압축(Model Compression) 기법은 다음과 같습니다. ...
왜 지금 ‘통합 데이터·AI 플랫폼’ 전쟁인가 2024년 하반기, 엔터프라이즈 데이터 팀의 주요 고민 중 하나은 “도구가 너무 많다"는 것이었습니다. 데이터 엔지니어링(Data Engineering)은 Spark 클러스터에서, 분석(Analytics)은 SQL 웨어하우스에서, ML 학습은 또 다른 노트북 환경에서 돌아갑니다. 이렇게 파편화된 워크플로를 하나로 엮으려는 수요가 폭발적으로 늘고 있습니다. 개인적으로 여러 엔터프라이즈 프로젝트를 지켜보면, ETL에서 분석, ML 모델링, GenAI 서빙까지 이어지는 파이프라인에서 컨텍스트 스위칭(context switching) 비용이 전체 생산성의 상당 부분 이상을 잡아먹는 경우가 흔합니다. 바로 이 지점을 두 거인이 동시에 노리고 있습니다. ...
Physical AI란 무엇인가 — 소프트웨어 AI에서 물리 세계로의 확장 ChatGPT가 텍스트를 생성하고, Midjourney가 이미지를 만들어도 AI는 여전히 스크린 안에 갇혀 있었습니다. Physical AI(Embodied AI)는 이 경계를 허뭅니다. AI가 물리 환경을 인식(Perceive)하고, 판단(Reason)하고, 실제로 조작(Manipulate)하는 기술 패러다임입니다. 소프트웨어 AI vs Physical AI 핵심 차이는 피드백 루프(Feedback Loop)에 있습니다. 소프트웨어 AI는 틀려도 텍스트를 다시 생성하면 그만입니다. 반면 Physical AI가 로봇 팔의 각도를 1도만 잘못 계산하면 물건이 깨지고, 사람이 다칩니다. 현실은 Undo가 없습니다. ...
월드 모델이란 무엇인가 최근 몇 년 사이 AI 커뮤니티의 관심사가 눈에 띄게 바뀌었습니다. 텍스트를 이해하는 AI를 넘어, 세상을 이해하는 AI로의 전환입니다. 월드 모델의 정의 월드 모델(World Model)이란 환경의 내부 표상(Internal Representation)을 학습해서, 주어진 행동(action)에 대한 미래 상태(future state)를 예측하고 시뮬레이션하는 모델입니다. 핵심 아이디어는 단순합니다. AI가 머릿속에 “세상의 축소판"을 만들고, 그 안에서 미리 시뮬레이션한 뒤 행동을 결정하는 것입니다. LLM과의 결정적 차이 LLM(Large Language Model)은 본질적으로 언어 세계의 모델입니다. 토큰 시퀀스의 통계적 패턴을 학습합니다. 반면 월드 모델은 물리 세계의 인과 관계(causality)와 역학(dynamics)을 모델링합니다. ...