Re-ordonarea Documentelor Relevante (Cross-Encoder Re-ranking) în llama.cpp: Inferență LLM în C++ & Formatul GGUF

După ce baza de date vectorială a extras primele 20 de documente candidate, un model de re-ranking (cum ar fi BGE-Reranker-v2) re-evaluează relevanța fiecărui paragraf raportat la întrebare:

curl http://localhost:8080/v1/rerank   -H "Content-Type: application/json"   -d '{
    "query": "Cum instalez driverele CUDA?",
    "documents": [
      "Instalarea driverelor NVIDIA pe Ubuntu necesită apt install nvidia-cuda-toolkit.",
      "Vremea în Cluj va fi caldă și însorită mâine."
    ]
  }'

Documentele sunt sortate descrescător după scorul de relevanță, îmbunătățind acuratețea răspunsurilor finale ale asistentului RAG.