Text Generation Inference (TGI) este serverul de producție dezvoltat de Hugging Face pentru a alimenta platforme de mari dimensiuni precum HuggingChat. Nucleul de rutare și streaming este scris în Rust pentru latență minimă, în timp ce kernelurile de calcul sunt optimizate în CUDA și FlashAttention-2.
Lansarea unui container TGI în Docker:
docker run --gpus all --shm-size 1g -p 8080:80 -v $HOME/data:/data ghcr.io/huggingface/text-generation-inference:2.4.0 --model-id meta-llama/Meta-Llama-3.1-8B-Instruct --quantize bitsandbytes-nf4 --max-batch-prefill-tokens 2048TGI include suport nativ pentru streaming SSE (Server-Sent Events), tokenizers ultra-rapizi în Rust și validarea gramaticilor structurate JSON (Outlines).
Întrebări & Exemple practice:
Hugging Face TGI: Arhitectură de Inferență Scalabilă pe GPUAi o întrebare despre Hugging Face TGI: Arhitectură de Inferență Scalabilă pe GPU sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.