Configurarea Tipului de Agregare (–pooling mean / cls) în llama.cpp: Inferență LLM în C++ & Formatul GGUF

Modelele de embedding folosesc diferite strategii de agregare a reprezentărilor tokenilor:

• --pooling mean: Calculează media aritmetică a vectorilor tuturor tokenilor (standard pentru modelele BGE, Nomic, MiniLM).
• --pooling cls: Folosește exclusiv starea primului token special [CLS] (specific arhitecturilor BERT clasice).
• --pooling last: Folosește vectorul ultimului token generat (specific modelelor generative Causal LM folosite pentru embedding).

./build/bin/llama-embedding -m nomic-embed-text.gguf --pooling mean

Selectarea metodei corecte de pooling este critică pentru menținerea acurateței de regăsire semantică.