往下拉回到首頁
欸你知道嗎?先做 PCA 再砍維度,一般的 AI 向量模型也能壓縮得超乾淨

欸你知道嗎?先做 PCA 再砍維度,一般的 AI 向量模型也能壓縮得超乾淨

PCA Before Truncation Makes Non-Matryoshka Embeddings Compressible: Results on BGE-M3

如果你有在用 AI 向量模型(embedding model)來做搜尋或推薦,你可能知道一個很煩的問題:大多數模型都沒有特別設計成可以隨意砍維度的,所以你直接把 1024 維砍成 512 維,效果就會爛掉。有個人想到一個超簡單的招:先在一堆向量上跑一次 PCA(就是那個統計學的降維技巧),把向量轉到 PCA 的座標系,然後再砍維度。這樣做的好處是,PCA 會自動把重要的資訊往前面推,所以你砍的時候就不是隨便亂砍了。他用 BGE-M3 這個模型實測,結果超扯:砍到 512 維,直接砍的話相似度掉到 0.707,但先做 PCA 的話還能維持 0.996(幾乎沒差);砍到 384 維也是 0.609 對 0.990。簡單來說就是,用這招你可以把向量壓到原本的一半或三分之一,品質卻幾乎沒在掉,對於想省儲存空間或加快速度的人來說根本是救星。

相關標籤

PCAembedding compressionMatryoshka embeddingsdimension truncationcosine similarityBGE-M3