소비자용 AI 추론 칩은 언제 나올까?

몇 달 동안 나를 괴롭혀온 질문을 누군가 드디어 던졌다: AI에 수십억 달러가 쏟아지고 있고, 실제로 쓸만한 오픈 모델들이 있는데, 왜 내 노트북에서 Llama 3를 읽기 속도로 돌릴 수 있는 200달러짜리 USB 스틱을 못 사는 거야? 기술은 이미 있다 — 일반인들이 실제로 하고 싶은 일의 90%를 처리하는 모델들이 있고, Taalas 같은 회사들은 이미 데이터센터용 추론 칩을 팔고 있다. 그런데 왜 아무도 소비자 시장을 못 뚫었을까? '칩이 나올 때쯤이면 모델이 구식이 된다'는 핑계는 Llama 3가 이미 대부분의 실제 작업에 충분할 정도로 좋아진 지금은 먹혀들지 않는다. 진짜 병목은 기술이 아니라 — AI 거품이 터지면 자기들이 손에 들린 걸 들고 있을까봐 하드웨어 회사들이 겁먹은 거다. 한편 얼리 어댑터들인 우리는 신용카드를 들고 이 문제를 푸는 첫 번째 회사에 돈을 던질 준비가 되어 있다.