ColBERT și Late Interaction: Modele Multi-Vectoriale la Nivel de Token în Baze de Date Vectoriale & Căutare Semantică

ColBERT (Contextualized Late Interaction over BERT) este un model de pionierat care depășește compromisul dintre viteza modelelor bi-encoder și precizia cross-encoderelor. În loc să condenseze un întreg document într-un singur vector dens (single-vector pooling), ColBERT păstrează un vector pentru fiecare token individual din text.

La căutare, se aplică operatorul MaxSim: pentru fiecare token din întrebare, se găsește cel mai similar token din document, iar scorul total este suma acestor maxime locale:

from ragatouille import RAGPretrainedModel

# Încărcare model ColBERTv2 pre-antrenat
RAG = RAGPretrainedModel.from_pretrained("colbert-ir/colbertv2.0")

# Indexare documente cu multi-vectori la nivel de token
RAG.index(
    collection=["Documentație de instalare...", "Ghid de securitate rețea..."],
    index_name="colbert_index",
    max_document_length=256
)

# Căutare cu operatorul MaxSim
results = RAG.search(query="cum configurez firewall-ul?", k=3)
print("Top document:", results[0]["content"])

Modelele derivate (precum ColPali pentru documente PDF vizuale cu tokeni vizuali) extind această paradigmă la analiza directă a paginilor scanate fără OCR intermediar.