Vespa: Căutare Vectorială Distribuită la Scară Mare și Streaming Search în Baze de Date Vectoriale & Căutare Semantică

Vespa.ai este o platformă open-source de căutare semantică, motoare de recomandare și clasificare în timp real creată inițial de Yahoo. În Vespa, vectorii sunt reprezentați ca tensori n-dimensionali, beneficiind de suport nativ pentru algebră tensorială direct în faza de re-ranking a interogării.

Vespa oferă modurile de indexare HNSW (în memorie) și Streaming Search (fără index, ideal pentru multi-tenancy masiv unde fiecare utilizator are mii de documente izolate):

{
  "yql": "select * from sources document where {targetHits: 10}nearestNeighbor(vector_articol, q_vector) and client_id contains 'client_942'",
  "ranking": {
    "profile": "semantic-hybrid",
    "features": {
      "query(q_vector)": [0.12, 0.44, -0.09, 0.31]
    }
  }
}

Vespa se distinge prin capacitatea sa de a executa modele complexe de re-ranking (ONNX, LightGBM, rețele neurale) direct pe nodurile de conținut în timp real, eliminând latența de rețea asociată extragerii datelor.