Reducerea Dimensionalității: PCA, UMAP și t-SNE pentru Vectori în Baze de Date Vectoriale & Căutare Semantică

Vectorii generați de modelele mari de limbaj au frecvent 768, 1536 sau 3072 de dimensiuni. Pentru a înțelege structura spațiului semantic, a detecta clustere naturale sau a vizualiza datele, tehnicile de reducere a dimensionalității sunt esențiale.

• PCA (Principal Component Analysis): Metodă liniară rapidă care păstrează varianța globală a datelor.
• t-SNE: Metodă neliniară probabilistică excelentă pentru vizualizarea clusterelor locale bine separate în 2D.
• UMAP (Uniform Manifold Approximation and Projection): Standardul modern care păstrează atât structura locală cât și relațiile globale ale spațiului.

import umap
import numpy as np

# Matrice de 1000 documente cu dimensiune 1536
embeddings = np.random.randn(1000, 1536)

# Reducere la 2D pentru grafice interactive
reducer = umap.UMAP(n_components=2, metric="cosine", random_state=42)
embeddings_2d = reducer.fit_transform(embeddings)

print("Coordonate 2D document 0:", embeddings_2d[0])

UMAP oferă o viteză superioară față de t-SNE și poate rula direct cu metrica cosinus, fiind ideal pentru seturi de date mari în producție.