vLLM nu este doar un motor pentru modele de chat, ci suportă și servirea de înaltă performanță a modelelor dedicate de reprezentări vectoriale (Text Embeddings) prin endpoint-ul standard /v1/embeddings, atingând viteze de procesare de mii de documente pe secundă.
# Lansare server de embedding:
vllm serve BAAI/bge-m3 --task embedding
# Apel compatibil OpenAI:
curl http://localhost:8000/v1/embeddings \
-H "Content-Type: application/json" \
-d '{"model": "BAAI/bge-m3", "input": "Cum funcționează căutarea semantică?"}'Throughput enterprise: Înlocuiește soluțiile lente pe bază de CPU cu un cluster GPU dedicat pentru RAG.
Întrebări & Exemple practice:
Servirea Modelelor Dedicate de Embedding prin vLLM (/v1/embeddings)Ai o întrebare despre Servirea Modelelor Dedicate de Embedding prin vLLM (/v1/embeddings) sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.