Indexare Dinamică vs Batch: Reconstrucția Segmentelor și Vacuuming în Baze de Date Vectoriale & Căutare Semantică

Când adăugăm vectori în mod continuu într-o bază activă, construirea imediată a unui graf HNSW complet pentru fiecare punct ar bloca interogările paralele. Din acest motiv, bazele moderne utilizează arhitecturi inspirate de motoarele LSM-Tree:

• Segmente Active (Growing Segments): Punctele noi sunt stocate într-un buffer neindexat sau cu index Flat temporar.
• Compactare & Indexare de Fundal (Optimizers): Fire de execuție din background îmbină periodic segmentele mici în segmente mari sigilate (Sealed Segments), construind graful HNSW optimizat fără a perturba traficul de citire.
• Vacuuming (Ștergere Logică vs Fizică): Punctele șterse sunt inițial doar marcate (tombstoned), spațiul de stocare fiind eliberat la următoarea trecere a optimizatorului de compactare.

# Ajustarea pragului de optimizare în Qdrant
client.update_collection(
    collection_name="sesiuni_chat",
    optimizer_config=models.OptimizersConfigDiff(
        indexing_threshold=20000,  # Construiește HNSW când se acumulează 20.000 de vectori noi
        vacuum_min_vector_number=1000
    )
)

Această arhitectură garantează că latențele de interogare rămân stabile chiar și în timpul încărcărilor intensive de date.