Descriere & Utilizare
Parametrul --dtype auto citește automat precizia recomandată din fișierul `config.json` al modelului de pe Hugging Face.
Pe plăcile moderne (Nvidia Ampere, Ada Lovelace, Hopper), formatul bfloat16 este net superior clasicului float16 deoarece păstrează același interval dinamic ca float32, eliminând complet riscul de overflow numeric la generarea textelor lungi.
Cum să o reții ușor
💡 Numărul de zecimale cu care lucrează un inginer cadastrist: dacă rotunjește la 2 zecimale calculele se fac rapid, dar pentru precizie absolută folosește 4 zecimale.
Opțiuni și parametri tehnici
- Configurează tipurile de date din tensori (`torch.bfloat16` vs. `torch.float16`).
Exemple practice și cazuri de utilizare
vllm serve mistralai/Mistral-7B-Instruct-v0.3 --dtype bfloat16
Sfaturi de configurare & capcane
Pe plăcile video mai vechi (arhitectura Turing, ex: GTX 1660 sau RTX 2080), bfloat16 nu este suportat hardware nativ; folosește --dtype float16.
Comenzi și ghiduri înrudite
quantization-awq-gptq: Comandă asociată din acest modul.gpu-memory-utilization: Comandă asociată din acest modul.vllm-serve: Comandă asociată din acest modul.