下に引いて戻る
KIV:RTX 4070(12GB VRAM)で100万トークンのコンテキストを実現—再学習不要、HuggingFaceキャッシュの置き換えだけ

KIV:RTX 4070(12GB VRAM)で100万トークンのコンテキストを実現—再学習不要、HuggingFaceキャッシュの置き換えだけ

KIV: Run 1M token context on RTX 4070 (12GB VRAM) with zero retraining—just swap in this HuggingFace cache replacement

KIV(K-Indexed V Materialization)は、HuggingFaceの標準的なKVキャッシュを階層型検索システムに置き換える巧妙なミドルウェアです。仕組みはこう:最近のトークンはVRAMに保持して速度を確保し、古いK/Vペアはシステムメモリに移してメモリを節約し、Kベクトルを検索インデックスとして使って、デコードステップごとに最も関連性の高い約256個のVエントリだけを取り出します。RTX 4070 12GBでGemma 4 E2B(4ビット量化)を実行した結果:100万トークンのコンテキストでわずか12MBのVRAMオーバーヘッド、約6倍の高速化を実現。モデルの再学習は不要で、DynamicCacheを使用するあらゆるモデルに対応する直接置き換え可能なソリューションです。消費者向けハードウェアでも実用的な超大規模コンテキストが使えるようになる、なかなか面白い工夫ですね。

キーワード

KV cachecontext windowVRAM optimizationtoken retrievalinferenceopen source