GPT-4o 등장
새로운 플래그십 모델 'GPT-4 Omni'을 발표합니다. 이 모델은 음성, 이미지, 텍스트를 실시간으로 통합하여 추론할 수 있습니다.
This isn't just better chatbots — GPT-4o can literally see your screen, hear your frustration, and respond instantly without the awkward text-to-speech delays
Inception Labs가 Mercury 2를 출시했습니다. 이는 확산 모델(diffusion model) 기반의 언어 모델로, H100 GPU에서 초당 11,000 토큰이라는 놀라운 속도로 처리할 수 있습니다. 대부분의 대형 언어 모델(LLM)이 여전히 정확도를 우선시하는 반면, 이 접근 방식은 순수한 처리량을 추구합니다. DALL-E 같은 이미지 생성에 사용되는 확산 모델 기술을 텍스트 생성에 적용한 것으로, 추론 속도에 대한 우리의 생각을 근본적으로 바꿀 수 있습니다. 이것이 실용화되면 응답이 더 빨라지고, API 비용이 절감되며, 이전에는 불가능했던 실시간 애플리케이션이 가능해집니다. 팟캐스트에서 기술 세부사항과 프로덕션 환경에서의 중요성을 자세히 설명하고 있습니다.
키워드
용어 해설
- Diffusion Models（擴散模型）
- DALL-E 같은 이미지 생성기 뒤에 있는 AI 기술로, 노이즈를 점진적으로 제거해서 콘텐츠를 만들어 — Mercury 2가 처음으로 이걸 텍스트 생성에 대규모로 성공적으로 적용했어
- Tokens per Second（每秒標記數）
- AI 모델이 텍스트를 얼마나 빨리 생성하는지 측정하는 단위로, 단어 조각 단위로 측정돼 — Mercury 2의 11,000은 일반적인 프로덕션 모델보다 대략 50배 빨라
- Inference（推論）
- AI 모델이 학습 후 응답을 생성하는 과정 — Mercury 2의 속도 혁신이 실제 사용자에게 중요한 부분이야
- H100 GPU（H100圖形處理器）
- NVIDIA의 최신 AI 워크로드용 강력한 칩 — Mercury 2가 그 미친 11K 토큰 속도를 달성하는 데 사용한 하드웨어야
관련 기사
Anthropic, AWS 5GW 컴퓨팅 파워 확보...Amazon 최대 250억 달러 투자 약속
Anthropic은 월요일(4/20) Amazon과의 새로운 장기 협력 계약을 발표했습니다. 향후 10년간 AWS 컴퓨팅 파워에 1000억 달러 이상을 투자하고 Claude 모델 훈련 및 배포를 위해 최대 5GW의 컴퓨팅 용량을 확보합니다. 양사는 자본 협력도 확대하고 있으며, Amazon은 초기 50억 달러를 투자한 후 비즈니스 마일스톤에 따라 최대 200억 달러를 추가 투자할 계획입니다.
5GW is enough power to run a small city, and Anthropic just locked it up for a decade — that's scarcity economics in action
OpenAI, 1,220억 달러 투자 유치로 AI 시대 가속화
OpenAI가 역대 최대 규모인 1,220억 달러의 자금을 조달했습니다. 이 자금은 차세대 AI 칩 구매, 글로벌 확장, 그리고 ChatGPT, Codex, 엔터프라이즈 AI에 대한 폭발적인 수요 증가에 대응하기 위해 사용될 예정입니다. 쉽게 말해, OpenAI는 초강력 컴퓨터에 대규모 투자해서 AI를 누구나 쓸 수 있는 기술로 만들려고 하는 겁니다.
This $122B isn't just about ChatGPT — it's OpenAI betting they can replace entire software categories with AI-first solutions
기업용 AI의 다음 단계, OpenAI가 본격 추진
OpenAI가 기업용 AI의 다음 단계를 발표했습니다. Frontier, ChatGPT Enterprise, Codex, 그리고 회사 전체에서 사용할 수 있는 AI 에이전트(AI 대리인) 같은 새로운 도구들이 나온다는 거죠. 금융부터 제조업, 소매업까지 다양한 산업에서 AI 도입이 빠르게 진행되고 있습니다. 쉽게 말해서 OpenAI는 단순히 새 제품을 내놓는 게 아니라, 기업 전체가 AI를 제대로 활용할 수 있는 기반을 만들려는 겁니다. 지금까지 AI는 특정 부서만의 일이었지만, 이제는 회사 전체에서 당연하게 쓰이는 시대가 온다는 뜻입니다. 당신의 업무 방식도 바뀔 수 있다는 거예요.
OpenAI is positioning company-wide AI agents as the new normal, not just chatbots for customer service
테크 블로거 관점
누군가 다른 모든 LLM을 구식 다이얼업 인터넷처럼 보이게 만들어버렸어
Inception Labs가 어제 Mercury 2를 공개했는데, 숫자가 진짜 미쳤어 — H100 GPU에서 초당 11,000개 토큰. 비교하자면, 대부분의 실제 프로덕션 LLM은 초당 수백 개 토큰 정도로 기어가고 있어. 정확도는 최적화했는데 사용자들은 손가락으로 탁탁 두드리며 기다리고 있지. 근데 여기가 핵심이야: Mercury 2는 확산 모델을 써, DALL-E의 이미지 생성 기술이랑 같은 거. 근데 그걸 텍스트에 적용한 거야. 마치 누군가 AI 연구실에서 길을 잘못 들었다가 우연히 다들 무시하던 속도 문제를 풀어버린 거 같아. 만약 이게 실제 프로덕션 품질로 작동한다면 — 아직 큰 가정이지만 — 우린 실시간 AI 대화, 초저가 API 비용, 그리고 예전엔 '프로덕션에 너무 느렸던' AI 기능들이 갑자기 가능해지는 걸 보게 될 거야. 추론 비용 방정식이 완전히 뒤집혔어.
Action
馬上試用Waiting 3-5 seconds for your LLM to generate a paragraph while users get impatient and API costs pile up
Getting instant AI responses that feel like talking to a human, with API costs that actually make sense for high-volume applications
AI 분석
클라우드 컴퓨팅 & API
high지금 당신의 토큰 비용을 이 11K/초 기준과 비교해봐 — Mercury 2가 실제 프로덕션 품질을 제공하면, API 청구서가 확 줄어들 거야
다들 더 똑똑한 모델만 쫓아다닐 때, Inception Labs가 이미지 생성 기술을 빌려와서 추론 비용 방정식 자체를 무효화시켜버렸어
고객들은 즉각적인 응답을 기대하는데 넌 느린 모델 때문에 프리미엄 가격을 내고 있어 — 이게 두 문제를 한 번에 뒤집어버릴 수 있어
직무 영향 분석
DevOps 엔지니어
역할 변화초당 11,000개 토큰이면 LLM 워크로드에 대한 너의 현재 스케일링 가정이 완전히 구식이 돼버렸다는 뜻
Mercury 2를 다운로드해서 너의 실제 프로덕션 트래픽 패턴으로 스트레스 테스트해봐 — 견디면, 인프라 비용이 급락할 거야
프로덕트 매니저
기회예전엔 너무 비싸거나 느려서 불가능했던 실시간 AI 기능들이 갑자기 실현 가능해졌어
예전에 보류했던 '실시간 AI 채팅'이나 '즉시 콘텐츠 생성' 기능들 꺼내봐 — 로드맵을 다시 살펴볼 시간이야