往下拉回到首頁
欸你知道嗎?現在用一張普通顯卡就能跑 100 萬 token 的 AI,而且不用重新訓練

欸你知道嗎?現在用一張普通顯卡就能跑 100 萬 token 的 AI,而且不用重新訓練

KIV: Run 1M token context on RTX 4070 (12GB VRAM) with zero retraining—just swap in this HuggingFace cache replacement

如果你有在用 ChatGPT 或其他 AI 聊天機器人,你可能有過這種經驗:聊天聊到一半,AI 突然忘記前面說過什麼,因為它的「記憶力」有限制。這個叫 KIV 的技術就是在解決這個問題。 簡單來說就是:它用一個聰明的方法重新整理 AI 的記憶。最近說過的話保留在顯卡裡(快速存取),很久以前的話就放到電腦的普通記憶體裡(便宜又大),然後用一套索引系統快速找到需要的舊記憶。這樣一來,你用一張 RTX 4070(大概台幣 1 萬多的顯卡)就能讓 AI 記住 100 萬個單詞,而且速度還快 6 倍。 最扯的是,你不用重新訓練 AI 模型,直接替換一個軟體元件就行。說真的,這種實用的技巧讓一般人也能在自己電腦上跑超強 AI,不用靠雲端服務。有點猛欸。

相關標籤

KV cachecontext windowVRAM optimizationtoken retrievalinferenceopen source