Sharding și Replicare în Clustere Vectoriale Distribuite în Baze de Date Vectoriale & Căutare Semantică

Când o colecție depășește capacitatea de memorie RAM a unei singure mașini sau cerințele de QPS (interogări pe secundă) depășesc puterea de calcul a unui singur CPU/GPU, clusterul vectorial trebuie fragmentat și replicat:

• Sharding (Fragmentare Orizontală): Vectorii sunt împărțiți pe bază de hash al ID-ului pe N noduri. Fiecare nod construiește un index HNSW doar pentru fragmentul său de date. O căutare este trimisă în paralel pe toate fragmentele (Scatter-Gather).
• Replication (Factor de Replicare): Fiecare fragment este copiat pe R noduri diferite utilizând protocoale de consens precum Raft. Replicarea crește disponibilitatea la căderea mașinilor și scalează liniar QPS-ul la citire.

# Configurare colecție distribuită în Qdrant
client.create_collection(
    collection_name="sharded_kb",
    vectors_config=models.VectorParams(size=768, distance=models.Distance.COSINE),
    shard_number=4,         # 4 fragmente independente
    replication_factor=2    # 2 copii pentru fiecare fragment
)

Nodurile de coordonare din cluster agregă automat top-k rezultatele parțiale primite de la fiecare shard înainte de a trimite răspunsul către client.