UAE 과학연구센터, AWS클라우드서 '팰컨 40B' LLM 훈련

(사진=AWS)

[이데일리 김가은 기자] 아마존웹서비스(AWS)는 아랍에미리트(UAE) 아부다비 글로벌 과학연구센터인 ‘테크놀로지 이노베이션 인스티튜트(TII)’가 오픈소스 ‘팰컨 40B’ 거대언어모델(LLM)을 자사 클라우드 환경에서 훈련했다고 9일 밝혔다.

팰컨 40B는 매개변수 400억개를 가진 LLM이다. ‘아파치 2.0(Apache 2.0)’ 라이선스로 사용할 수 있다. 이 모델은 여러 벤치마크에서 LLM을 추적, 순위 지정, 평가해 최고 성능 모델을 식별하는 ‘허깅페이스(Hugging Face)’ 오픈 LLM 리더보드에서 1위를 차지했다.

AWS 사용자는 사전 훈련된 모델을 제공하는 머신러닝(ML) 허브 ‘아마존 세이지메이커 점프스타트’에서 팰컨 40B를 배포할 수 있다. 이를 통해 자체 모델을 직접 구축하지 않고도 팰컨 40B가 보유한 정확도와 성능을 활용할 수 있다.

TII가 팰컨 40B 모델을 구축하기 위해 아마존 세이지메이커를 선택한 이유는 LLM 개발 프로세스 전반을 관리해 고성능과 비용 효율성 효과를 누릴 수 있기 때문이다. 세이지메이커를 통해 TII는 ML 인프라를 관리하는 대신 맞춤형 훈련 메커니즘과 최적화 개발에 집중할 수 있다.

팰컨 40B는 현재 △미국 동부(오하이오) △미국 동부(버지니아 북부) △미국 서부(오레곤) △아시아 태평양(시드니) △아시아 태평양(서울) △유럽(런던) △캐나다(중부)에서 아마존 세이지메이커 점프스타트를 통해 정식 출시됐다.

엡테삼 알마즈루에이(Ebtesam Almazrouei) TII AI크로스 센터 부문 총괄 겸 LLM 프로젝트 리드는 “이번 오픈소스 릴리스는 조직들이 팰컨 40B의 기능을 활용하고, AI 기반 솔루션 발전을 주도할 수 있도록 지원한다”며 “그 다음 단계는 새로운 모델을 통해 AI와 고급 기술 분야 발전에 기여하고, UAE 조직과 기업 내에서 고급 AI 기술 활용을 촉진하는 것”이라고 말했다.