Ce este
Un vector de embedding este o listă de numere reale (adesea între 768 și 4.096 de dimensiuni) care comprimă sensul, contextul și relațiile unui cuvânt sau ale unui paragraf întreg.
Proprietatea magică a embeddings-urilor este că distanța geometrică dintre doi vectori reflectă similaritatea lor de sens: ‘rege’ și ‘regină’ vor fi foarte apropiați, în timp ce ‘rege’ și ‘submarin’ vor fi foarte depărtați.
Analogia din viața reală
Imaginează-ți o hartă a unui oraș unde fiecare restaurant are o poziție pe două axe: gust (de la dulce la sărat) și preț (de la ieftin la scump). Dacă două restaurante sunt aproape pe hartă, știi că seamănă ca stil. Embeddings fac exact același lucru pentru idei și cuvinte, doar că folosesc nu 2 axe, ci mii de coordonate conceptuale.
Cum funcționează tehnic
Fiecare dimensiune a vectorului captează un atribut abstract învățat automat în timpul antrenării (gen, temporalitate, ton formal, apartenență la o categorie).
Similaritatea semantică se măsoară prin similaritate cosinus (Cosine Similarity): măsoară unghiul dintre cei doi vectori (1.0 înseamnă sens identic, 0 înseamnă complet ortogonale/fără legătură).
Exemple practice și aplicații
- Faimoasa aritmetică a vectorilor: Vector(‘Rege’) – Vector(‘Bărbat’) + Vector(‘Femeie’) ≈ Vector(‘Regină’).
- Căutare semantică: Căutarea ‘cum repar o pană la roată’ va găsi articole despre ‘schimbarea anvelopei dezumflate’, chiar dacă nu conțin exact aceleași cuvinte.
Greșeli frecvente sau mituri
Embeddings nu sunt doar pentru cuvinte individuale; există modele dedicate de text embeddings care transformă pagini întregi de text într-un singur vector pentru baze de date vectoriale (RAG).
Termeni înrudiți
tokenizare: Noțiune asociată din ghidul de Modele Mari de Limbaj.transformer: Noțiune asociată din ghidul de Modele Mari de Limbaj.