Gestionarea Memoriei: mmap și Disk Spilling în Baze Vectoriale în Baze de Date Vectoriale & Căutare Semantică

Costul memoriei RAM este de până la 10 ori mai mare decât cel al stocării pe SSD-uri NVMe ultra-rapide. Pentru a reduce costurile infrastructurii, bazele vectoriale moderne permit stocarea componentelor grele direct pe disc prin tehnica memory-mapping (mmap).

În Qdrant, putem specifica explicit dacă vectorii sau payload-ul trăiesc exclusiv în RAM sau pe disc:

from qdrant_client.http import models

client.create_collection(
    collection_name="colectie_economica",
    vectors_config=models.VectorParams(
        size=1536,
        distance=models.Distance.COSINE,
        on_disk=True  # Vectorii sunt stocați pe SSD și încărcați prin mmap la nevoie
    ),
    hnsw_config=models.HnswConfigDiff(
        on_disk=True  # Muchiile grafului HNSW sunt mutate pe disc
    )
)

Sistemul de operare utilizează automat memoria neocupată ca Page Cache pentru fișierele mapate prin mmap. Paginile cel mai des accesate rămân calde în cache, în timp ce restul datelor sunt citite la cerere de pe SSD-ul NVMe cu o penalizare infimă de latență.