Când folosiți llama-server, nu este nevoie să salvați fișiere .gbnf pe discul serverului: puteți transmite gramatica dorită ca șir de caractere în câmpul grammar din corpul cererii JSON:
curl http://localhost:8080/completion -H "Content-Type: application/json" -d '{
"prompt": "Starea vremii este:",
"grammar": "root ::= "însorită" | "ploioasă" | "înnorată"",
"temperature": 0.2
}'Fiecare client poate solicita constrângeri gramaticale complet diferite pe aceeași instanță de server.
Întrebări & Exemple practice:
Transmiterea Gramaticilor GBNF prin API în llama-serverAi o întrebare despre Transmiterea Gramaticilor GBNF prin API în llama-server sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.