
OpenAI、ハイアットが社員向けAI導入を支援
ハイアットが世界中の従業員向けにChatGPT Enterpriseを導入し、GPT-5.4とCodexを活用して生産性、業務効率、ゲスト体験を向上させています。

KIV(K-Indexed V Materialization)は、HuggingFaceの標準的なKVキャッシュを階層型検索システムに置き換える巧妙なミドルウェアです。仕組みはこう:最近のトークンはVRAMに保持して速度を確保し、古いK/Vペアはシステムメモリに移してメモリを節約し、Kベクトルを検索インデックスとして使って、デコードステップごとに最も関連性の高い約256個のVエントリだけを取り出します。RTX 4070 12GBでGemma 4 E2B(4ビット量化)を実行した結果:100万トークンのコンテキストでわずか12MBのVRAMオーバーヘッド、約6倍の高速化を実現。モデルの再学習は不要で、DynamicCacheを使用するあらゆるモデルに対応する直接置き換え可能なソリューションです。消費者向けハードウェアでも実用的な超大規模コンテキストが使えるようになる、なかなか面白い工夫ですね。