Binarul llama-server oferă o platformă de servire completă, capabilă să preia cereri concurente prin sloturi paralele de calcul și să expună un API web modern.
# Pornire server pe portul 8080 cu descărcare pe GPU
./build/bin/llama-server -m ./models/Meta-Llama-3.1-8B-Instruct-Q4_K_M.gguf --host 0.0.0.0 --port 8080 -c 4096 -ngl 99Serverul afișează adresa de ascultare și este gata să proceseze cereri HTTP de completare și chat.
Întrebări & Exemple practice:
Lansarea Serverului HTTP llama-serverAi o întrebare despre Lansarea Serverului HTTP llama-server sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.