Indexuri Inversate: Integrarea Componentei Lexicale în Căutarea Hibridă în Baze de Date Vectoriale & Căutare Semantică

Deși căutarea vectorială excelează la înțelegerea conceptelor și a sinonimelor, modelele de embeddings eșuează adesea la identificarea termenilor exacți, a numerelor de serie, a codurilor de eroare sau a numelor de persoane specifice. Aici intervine indexul inversat tradițional.

Un index inversat mapează fiecare token dintr-un vocabular la lista documentelor în care apare (postings list), împreună cu frecvența termenului (TF) și frecvența inversă a documentului (IDF):

# Structură simplificată a unui index inversat
inverted_index = {
    "kubernetes": [doc_id_1, doc_id_5, doc_id_12],
    "crashloopbackoff": [doc_id_12, doc_id_44],
    "port": [doc_id_1, doc_id_3, doc_id_12]
}

# Căutarea 'kubernetes crashloopbackoff' intersectează rapid listele:
matching_docs = set(inverted_index["kubernetes"]) & set(inverted_index["crashloopbackoff"])
print("Documente relevante:", matching_docs)

În motoarele hibride moderne (Qdrant, Weaviate, Elastic), indexul inversat funcționează sincronizat cu indexul vectorial HNSW, oferind rezultate combinate de o robustețe inegalabilă.