Vald: Motor Vectorial Distribuit Nativ în Cloud și Kubernetes în Baze de Date Vectoriale & Căutare Semantică

Vald este un motor de căutare vectorială distribuit, ultra-scalabil, proiectat de la zero pentru arhitecturi native pe Kubernetes. Motorul de căutare din spatele fiecărui agent Vald este NGT (Neighborhood Graph and Tree), renumit pentru eficiența spațială și recall-ul extrem de ridicat în spații de mare dimensionalitate.

Vald utilizează protocolul gRPC pentru performanță maximă și implementează o arhitectură decuplată compusă din:

• Vald Agent: Nodurile care mențin indexul NGT în memorie și execută căutările locale.
• Vald LB (Load Balancer): Distribuie interogările și agregă rezultatele printr-un proxy gRPC inteligent.
• Vald Discoverer: Înregistrează și monitorizează nodurile active prin API-ul Kubernetes.

import grpc
from vald.v1.vald import search_pb2_grpc, search_pb2

channel = grpc.insecure_channel("vald-lb-gateway:8080")
stub = search_pb2_grpc.SearchStub(channel)

req = search_pb2.Search.Request()
req.vector.extend([0.05, -0.12, 0.77, 0.23])
req.config.num = 10
req.config.radius = -1.0
req.config.epsilon = 0.05

response = stub.Search(req)
for hit in response.results:
    print(f"ID: {hit.id}, Distanță: {hit.distance}")

Datorită integrării strânse cu Kubernetes Custom Resource Definitions (CRDs), Vald oferă auto-healing și scalare automată fără intervenție manuală.