⁠⁠⁠⁠⁠⁠⁠

메타 블로그 캡처

라마4 MoE 아키텍처. 메타 제공

페이스북 모회사 메타플랫폼(이하 메타)이 자사 차세대 인공지능(AI) 모델군을 선보였다. 딥시크 쇼크 이후 회사가 AI 비용효율성을 높이는 데 집중해온 결과물이다. 이를 앞세워 오픈모델 생태계 주도권을 노린다.

메타는 5일(현지시간) 자사 블로그를 통해 "더욱 개인화된 멀티모달 경험을 구축할 수 있도록 지원한다"며 신규 AI모델 '라마4'를 발표했다. 오픈모델로서 다양한 곳에 기반모델(FM)로 쓰인 전작 '라마3'를 선보인지 1년만이다. 이번엔 총 4종으로 구성되며, 이 중 두 가지는 이날 출시돼 라마 홈페이지와 허깅페이스를 통해 제공되고 인스타그램과 왓츠앱 등에도 적용됐다.

메타는 이번 '라마4'에 멀티모달을 키워드로 내세웠다. 대규모 학습을 거쳐 텍스트뿐만 아니라 이미지·비디오·오디오 등 다양한 데이터 형식을 동시에 처리할 수 있는 네이티브 멀티모달 AI로 설계, 이로써 시각적 이해 등 복합적 작업에 대한 성능을 높였다고 강조했다.

'라마4'가 전작에 비해 취한 가장 큰 변화는 전문가혼합(MoE) 아키텍처를 적용한 것이다. 전체 매개변수(파라미터) 중 질의에 특화된 일부만 활성화해 효율을 높이는 방식이다. 오픈AI와 미스트랄 등이 선도적으로 적용했고, 이후 딥시크가 보인 비용효율의 비결로도 지목돼 화제가 된 바 있다.

먼저, 총 매개변수 1090억개 규모의 '라마4 스카웃'은 16개 전문가모델로 구성돼 답변에 쓰이는 활성매개변수는 170억개다. 기존의 모든 라마 모델들보다 더 강한 성능을 지녔음에도 하나의 엔비디아 H100 그래픽처리장치(GPU)로 구동 가능하다. 여기에 무려 1000만 토큰 길이의 콘텍스트창을 지원하는 것도 특징이다. 여러 벤치마크에서 구글 젬마3 및 제미나이 2.0 플래시라이트, 미스트랄 3.1 등을 앞섰다.

함께 출시된 '라마4 매버릭'은 총 매개변수 4000억개 규모로, 활성매개변수는 170억개 규모로 같으나 전문가모델 구성이 128개에 달한다. 회사에 따르면 오픈AI GPT-4o와 구글 제미나이 2.0 플래시를 능가하는 멀티모달 모델이며, 코딩 작업 등에서 딥시크 v3와 비슷한 성과를 내면서도 활성매개변수는 절반 이하로 쓰는 효율을 자랑한다.

라마4 모델군 중 먼저 출시된 두 모델은 최상위 모델인 '라마4 베히모스'를 증류한 것이다. 전체 2조 매개변수 규모, 16개의 전문가 모델로 구성돼 2880억개의 활성매개변수로 구동되는 이 모델은 아직 학습을 진행 중이다. 특히 STEM(과학·기술·공학·수학) 관련 내부평가에서 경쟁사들의 최신 AI모델인 오픈AI GPT-4.5, 앤스로픽 클로드 소네트 3.7, 구글 제미나이 2.0 프로 등보다 뛰어났다고 회사는 전했다.

이 세 가지 AI모델은 최근 주요 AI기업들이 경쟁적으로 내놓고 있는 추론모델에 해당하진 않는다. 이에 메타는 이를 지원하는 '라마4 리즈닝'도 추후 선보일 예정이다. 하지만 앞서 디인포메이션은 메타는 라마4가 벤치마크 중 추론과 수학 작업 및 음성 기능에서 기대치를 충족하지 못해 최신버전의 출시를 연기했다고 보도한 바 있다.

메타는 라마4로 이 회사가 앞장서온 오픈모델 전략을 가속한다는 구상이다. 다만 테크크런치 보도에 따르면 유럽연합(EU) 지역에 소재지나 주요 사업장이 있는 기업 또는 사용자는 라마4 라이선스 이용에 제약을 받을 수 있다. EU AI법의 규제 영향으로 풀이된다. 기존 라마 모델군과 마찬가지로 월간활성사용자(MAU) 7억명이 넘어가는 곳은 메타에 특별 라이선스를 요청해야 하며, 메타는 이를 승인 또는 거부할 수 있다.

마크 저커버그 메타 최고경영자(CEO)는 인스타그램을 통해 "우리 목표는 세계 최고 AI를 구축하고 오픈소스화해 전 세계 모든 사람이 혜택을 누릴 수 있도록 보편적으로 접근할 수 있게 하는 것"이라 밝혔다.팽동현기자 dhp@dt.co.kr

Copyright © 디지털타임스. 무단전재 및 재배포 금지.