KIV: RTX 4070(12GB VRAM)에서 100만 토큰 컨텍스트 실행—재학습 불필요, HuggingFace 캐시만 교체하면 됨

KIV(K-Indexed V Materialization)는 HuggingFace의 표준 KV 캐시를 계층형 검색 시스템으로 대체하는 똑똑한 미들웨어입니다. 원리는 이렇습니다: 최근 토큰은 VRAM에 유지해서 속도를 확보하고, 오래된 K/V 쌍은 시스템 RAM으로 옮겨서 메모리를 절약하며, K 벡터를 검색 인덱스로 사용해서 디코딩 단계마다 가장 관련성 높은 약 256개의 V 항목만 가져옵니다. RTX 4070 12GB에서 Gemma 4 E2B(4비트 양자화)를 실행한 결과: 100만 토큰 컨텍스트에 단 12MB VRAM 오버헤드, 약 6배 속도 향상. 모델 재학습이 필요 없으며, DynamicCache를 사용하는 모든 모델과 호환되는 플러그인 방식입니다. 소비자급 하드웨어에서도 실용적인 초대형 컨텍스트 윈도우를 사용할 수 있게 해주는 꽤 영리한 해킹이네요.