아래로 당겨서 돌아가기
텐센트, Hy3 프리뷰 공개 - 295B 파라미터 MoE 모델 오픈소스 출시

텐센트, Hy3 프리뷰 공개 - 295B 파라미터 MoE 모델 오픈소스 출시

Tencent Releases Hy3 Preview - Open Source 295B Parameter MoE Model with Only 21B Active Parameters

텐센트가 새로운 오픈소스 MoE(혼합 전문가) 모델인 Hy3의 프리뷰 버전을 공개했습니다. 295억 개의 파라미터를 가지고 있지만 실제 추론 시에는 21억 개의 파라미터만 활성화되어 매우 효율적입니다. 즉, 제한된 하드웨어에서도 대규모 모델의 성능을 얻을 수 있다는 뜻이죠. 모델 가중치는 허깅페이스에 공개되어 있어 연구자와 개발자들이 자유롭게 실험할 수 있습니다. 오픈소스 AI 커뮤니티에서 의미 있는 진전입니다.