딥시크, AI 모델 개발의 혁신적인 접근
딥시크는 AI 모델 개발에 대한 인식을 완전히 바꿨다. 기존에는 AI 모델 개발에 거대 기업들이 막대한 자원을 투자해야 한다고 여겨졌지만, 딥시크는 이를 깨뜨렸다. 딥시크 V3는 6720억 개의 파라미터를 가진 초거대 모델로, GPT-3의 3배 크기에도 학습 비용은 600만 달러(87억원)에 불과하다.
비결은 MOE(Mixture of Experts) 모델 설계, SW 최적화를 통한 GPU 클러스터 운영, 고성능 모델의 효율적인 증류(Distillation)에 있다. MOE는 일부 전문가 네트워크만 활성화해 계산 효율성을 높인 것이고, GPU 클러스터 최적화로 모델 학습을 효율화하며, 대형 모델을 소형 모델로 증류해 비용 절감과 최적화를 이뤄냈다.
|
모레, AI 인프라 SW 최적화
모레의 AI 모델 연구는 최근 더 큰 주목을 받고 있다. 딥시크 V3가 2000개의 엔비디아 H100 GPU로 2개월 만에 개발된 반면, 모레는 600개의 AMD MI250 GPU로 1개월 만에 1020억 개 파라미터를 가진 자체 LLM(Motif LLM)을 완성했다. 이는 7분의 1 규모의 GPU 리소스를 사용해 7배 빠른 개발 속도를 보여준 것으로, 모레의 GPU 클러스터 SW 최적화 역량을 입증하는 사례다.
모레의 성공은 AI 경쟁력의 핵심이 소프트웨어 최적화 기술에 있다는 점을 명확히 한다. 반도체 성능만으로는 충분하지 않으며, 효율적인 소프트웨어 운영이 필수적이다.
AI 반도체 다양성 제도 도입한 인도…SW인프라 중요해져
조 사장은 인도의 AI 반도체 다양성 제도가 중요한 시사점을 제공한다고도 했다. 인도는 AI 데이터센터 구축 시 반도체 다양성을 100점 만점에서 30점을 할당해 최소 5종 이상의 반도체를 사용해야 최고 점수를 받을 수 있도록 제도화했다. 이는 다양한 반도체를 효과적으로 활용하는 소프트웨어 인프라의 중요성을 보여준다.
조 사장은 “한국도 AI 반도체의 다양성과 소프트웨어 최적화 기술을 결합하여 경쟁력을 강화해야 한다”고 말하며, 한국이 향후 소버린 AI 역량을 갖추는 중요한 전환점을 맞이할 것이라고 예고했다.
중국의 딥시크와 한국의 모레는 하드웨어에 의존하지 않고 효율적인 소프트웨어 최적화로 AI 모델 개발을 혁신하고 있다. 이들의 사례는 한국 AI 산업이 소프트웨어 기술에 집중하고 글로벌 경쟁력을 확보할 수 있는 중요한 가능성을 제공한다.
AI 경쟁력의 핵심은 반도체뿐 아니라 효율적인 소프트웨어와 GPU 클러스터 운영 기술에 있으며, 한국의 AI 기업들이 이 방향으로 나갈 때 AI강국으로서 입지를 다질 수 있을 것으로 보인다.