Re-Ranking cu Cross-Encoders: Cohere Rerank și BGE-Reranker în Baze de Date Vectoriale & Căutare Semantică

Modelele bi-encoder (care produc embeddings vectoriale independente) sunt extrem de rapide, dar sacrifică interacțiunea fină dintre cuvintele întrebării și cele ale documentului. Pentru a obține cea mai înaltă precizie posibilă în sisteme RAG, se utilizează o arhitectură pe două niveluri: Regăsire brută (Top 50-100) + Re-ranking cu Cross-Encoder (Top 5).

Un cross-encoder primește concatenarea [CLS] Întrebare [SEP] Document [EOS] și rulează atenție completă între toți tokenii concomitent:

import cohere

co = cohere.Client("cohere_api_key")

docs = [
    "Docker folosește cgroups și namespaces pentru izolare.",
    "Kubernetes orchestrează clustere de containere pe mașini multiple.",
    "Arhitectura microservicii favorizează decuplarea componentelor."
]

# Reranking pe rezultatele extrase din baza vectorială
response = co.rerank(
    model="rerank-multilingual-v3.0",
    query="cum se realizează izolarea în containere?",
    documents=docs,
    top_n=2
)

for hit in response.results:
    print(f"Index: {hit.index}, Scor Relevanță: {hit.relevance_score:.4f}")

Etapa de re-ranking elimină eficient „fals-pozitivele” semantice și sporește metricile de Answer Relevance cu peste 20-30% în aplicațiile AI de întreprindere.