FAISS GPU: Accelerare Masivă pe Plăci Grafice și Multi-GPU în Baze de Date Vectoriale & Căutare Semantică

Pentru seturi masive de date sau latențe sub-milisecundă la volume mari de interogări concurente, pachetul faiss-gpu transferă calculul distanțelor și parcurgerea listelor inversate direct în memoria VRAM a acceleratoarelor NVIDIA.

Exemplu de conversie și rulare a unui index FAISS pe GPU:

import faiss
import numpy as np

d = 512
cpu_index = faiss.IndexFlatL2(d)

# Alocare resurse GPU
res = faiss.StandardGpuResources()
gpu_index = faiss.index_cpu_to_gpu(res, 0, cpu_index)

data = np.random.random((100000, d)).astype('float32')
gpu_index.add(data)

query = np.random.random((10, d)).astype('float32')
distances, indices = gpu_index.search(query, k=5)
print("Căutare pe GPU finalizată cu succes.")

Prin utilizarea clasei IndexShards sau a funcției index_cpu_to_all_gpus, FAISS poate fragmenta automat setul de date pe 4 sau 8 plăci grafice, permițând interogarea a zeci de milioane de vectori la mii de interogări pe secundă.