Fenomenul Curse of Dimensionality în Spații Vectoriale Dense în Baze de Date Vectoriale & Căutare Semantică

Expresia Curse of Dimensionality (Blestemul Dimensionalității) descrie o serie de fenomene contraintuitive care apar atunci când analizăm date în spații cu sute sau mii de dimensiuni. Cel mai problematic fenomen pentru bazele vectoriale este concentrarea distanțelor.

Pe măsură ce dimensiunea d tinde spre infinit, diferența relativă dintre distanța până la cel mai apropiat punct și distanța până la cel mai îndepărtat punct se apropie de zero:

import numpy as np

# Demonstrație practică: raportul distanțelor în 2D vs 1536D
def distance_ratio(d, n_points=500):
    points = np.random.uniform(0, 1, (n_points, d))
    dists = np.linalg.norm(points - points[0], axis=1)[1:]
    return (np.max(dists) - np.min(dists)) / np.min(dists)

print("Contrast în 2D:", distance_ratio(2))       # Valoare mare (~15.0)
print("Contrast în 1536D:", distance_ratio(1536)) # Valoare extrem de mică (~0.15)

În spații dense, toți vectorii par „aproape la fel de depărtați”. Din acest motiv, algoritmii clasici de indexare spațială (KD-Trees, R-Trees) devin ineficienți, făcând necesare grafurile de navigație de tip Small World (HNSW).