LanceDB: Bază Vectorială Embedded Bazată pe Formatul Columnar Lance în Baze de Date Vectoriale & Căutare Semantică

LanceDB este o bază de date vectorială ultra-rapidă, fără server (serverless) sau embedded, gândită să funcționeze direct pe fișiere locale, stocare NVMe sau bucket-uri de obiecte (AWS S3, Google Cloud Storage). Spre deosebire de Parquet, formatul de fișiere Lance este proiectat special pentru învățare automată și oferă acces aleatoriu (random access) de până la 100 de ori mai rapid pentru vectori și imagini.

Exemplu de utilizare LanceDB în Python:

import lancedb
import pyarrow as pa

db = lancedb.connect("data/lancedb_store")

schema = pa.schema([
    pa.field("id", pa.int64()),
    pa.field("vector", pa.list_(pa.float32(), 128)),
    pa.field("text", pa.string())
])

tbl = db.create_table("produse", schema=schema, mode="overwrite")
tbl.add([{"id": 1, "vector": [0.1] * 128, "text": "Căști audio wireless"}])

# Căutare vectorială direct pe disc fără a încărca întreg setul în RAM
res = tbl.search([0.1] * 128).limit(5).to_pandas()
print(res)

Datorită arhitecturii zero-copy Arrow și a căutării vectoriale directe pe SSD (disk-native ANN), LanceDB poate gestiona milioane de vectori direct de pe un laptop sau într-o funcție serverless AWS Lambda fără consum prohibitiv de memorie.