IVF-PQ combină partiționarea spațiului prin fișiere inversate (Inverted File) cu cuantizarea de produs (Product Quantization) pentru a comprima vectorii de la numere reale pe 32 de biți la coduri discrete pe 8 biți, reducând amprenta de memorie RAM cu până la 90-95%.
# Exemplu de creare index IVF-PQ cu FAISS:
import faiss
d = 1536 # Dimensiunea embedding-ului
nlist = 1024 # Numărul de clustere Voronoi
m = 16 # Număr de sub-vectori cuantizați
nbits = 8 # Biți per sub-vector
quantizer = faiss.IndexFlatL2(d)
index = faiss.IndexIVFPQ(quantizer, d, nlist, m, nbits)
index.train(training_vectors)
index.add(corpus_vectors)
index.nprobe = 10 # Căutare în cele mai apropiate 10 clustereScalabilitate extremă: Permite indexarea a sute de milioane de fragmente pe o singură mașină fără consum prohibitiv de RAM.
Întrebări & Discuții: Indexarea IVF-PQ (Inverted File with Product Quantization) pentru Volume Masive
Ai o întrebare despre Indexarea IVF-PQ (Inverted File with Product Quantization) pentru Volume Masive sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.