Ce face vllm complete
vllm complete trimite prompturi către endpoint-ul de completări al serverului și afișează textul generat. Fără argumente se conectează la http://localhost:8000/v1 și folosește primul model al serverului.
Spre deosebire de vllm chat, promptul nu trece prin chat template. Are în plus --max-tokens și nu are --system-prompt.
Sintaxă și opțiuni
| Opțiune / Parametru | Descriere |
|---|---|
--url URL |
URL-ul serverului. Implicit http://localhost:8000/v1. |
--model-name NUME |
Modelul folosit. Implicit, primul model din lista serverului. |
--api-key CHEIE |
Cheia API; suprascrie cheia din variabilele de mediu. |
--max-tokens N |
Numărul maxim de tokeni generați per secvență. |
-q, --quick PROMPT |
Trimite un singur prompt, afișează completarea și iese. |
--stats |
Afișează TTFT și TPS după fiecare răspuns. Implicit dezactivat. |
Exemple practice
Exemplul 1: Conectare la serverul local
vllm completeExemplul 2: Alt server
vllm complete --url http://{vllm-serve-host}:{vllm-serve-port}/v1Exemplul 3: Un singur prompt
vllm complete --quick "The future of AI is"Exemplul 4: Cu statistici
vllm complete --statsGreșeli frecvente și bune practici
- Aștepți răspunsuri de tip conversație de la un model Instruct.
completetrimite textul brut, fără chat template. - Lași
--max-tokensnesetat și primești răspunsuri tăiate sau prea lungi; limitează explicit lungimea.
Întrebări & Exemple practice:
vllm completeAi o întrebare despre vllm complete sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.