HyDE: Hypothetical Document Embeddings pentru Întrebări Scurte și Abstracte în Baze de Date Vectoriale & Căutare Semantică

O întrebare scurtă pusă de un utilizator (ex: „eroare 502 bad gateway”) are o structură gramaticală și un vocabular complet diferit față de documentația tehnică ce explică rezolvarea problemei („Configurarea proxy-ului Nginx, verificarea procesului upstream PHP-FPM”). Această nepotrivire cauzează distanțe mari în spațiul vectorial.

HyDE (Hypothetical Document Embeddings) rezolvă această problemă în trei pași:

1. Un LLM primește întrebarea și generează un document ipotetic (chiar dacă conține erori factuale minore, vocabularul și tonul sunt cele corecte).
2. Documentul ipotetic este vectorizat.
3. Se caută în baza vectorială fragmente similare cu documentul ipotetic (căutare Document-to-Document în loc de Query-to-Document).

# Generare răspuns ipotetic
prompt = f"Scrie un paragraf tehnic scurt care explică: {query}"
hypothetical_doc = llm.invoke(prompt).content

# Căutare vectorială pe baza textului ipotetic generat
query_embedding = embed_model.get_text_embedding(hypothetical_doc)
results = vector_db.query(query_embedding, top_k=5)

HyDE excelează în interogări ambigue, întrebări conceptuale sau formulări succinte din limbajul non-tehnic.