아래로 당겨서 돌아가기
알리바바가 몰래 공개한 Marco-Mini와 Marco-Nano: 번개같이 빠른 초효율 AI 모델

알리바바가 몰래 공개한 Marco-Mini와 Marco-Nano: 번개같이 빠른 초효율 AI 모델

Alibaba Just Dropped Marco-Mini and Marco-Nano: Sparse AI Models That Run Stupidly Fast

알리바바 국제 디지털 커머스 부문이 6일 전에 두 개의 새로운 대형 언어 모델(LLM)을 조용히 출시했는데 거의 아무도 눈여겨보지 않았습니다. Marco-Mini는 173억 개의 파라미터를 가지고 있지만 실제로는 8.6억 개만 활성화되고, Marco-Nano는 더 작아서 80억 개 중 6억 개만 활성화됩니다. 이들은 혼합 전문가(MoE) 아키텍처를 사용하는데, 쉽게 말해 모델이 각 작업에 필요한 부분만 "깨어난다"는 뜻입니다. 파라미터와 활성 파라미터의 비율이 정말 미친 수준이라 엄청 빠르고 비용도 저렴하게 돌아갑니다. 다국어 성능이 필요하지만 서버 비용은 아끼고 싶다면 이것들이 정답입니다.

키워드

language modelsparse MoEmultilingualinstruction-tunedefficient inferenceparameter efficiency