Text Generation Inference (TGI) este soluția open-source creată de Hugging Face pentru servirea modelelor LLM în producție comercială la scară masivă, oferind continuous batching, streaming de tokeni, cuantizare AWQ/EETQ și suport FlashAttention.
# Pornire container TGI cu GPU NVIDIA:
docker run --gpus all --shm-size 1g -p 8080:80 \
-v $PWD/data:/data \
ghcr.io/huggingface/text-generation-inference:latest \
--model-id meta-llama/Llama-3.1-8B-Instruct \
--max-batch-prefill-tokens 2048 \
--max-total-tokens 4096Throughput: Optimizează latența primului token (TTFT) și maximizează numărul de utilizatori deserviți simultan.
Întrebări & Exemple practice:
TGI (Text Generation Inference): Server de Producție de Mare PerformanțăAi o întrebare despre TGI (Text Generation Inference): Server de Producție de Mare Performanță sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.