AsyncLLMEngine decuplează bucla de inferență GPU de procesele I/O de rețea, transmițând rezultatele prin generatoare asincrone (async for) pe măsură ce tokenii sunt generați.
Exemplu într-un endpoint FastAPI
from vllm.engine.async_llm_engine import AsyncLLMEngine
from vllm.engine.arg_utils import AsyncEngineArgs
from vllm import SamplingParams
engine_args = AsyncEngineArgs(model="meta-llama/Meta-Llama-3-8B-Instruct")
engine = AsyncLLMEngine.from_engine_args(engine_args)
async def stream_raspuns(prompt: str, request_id: str):
params = SamplingParams(max_tokens=100)
generator = engine.generate(prompt, params, request_id)
async for request_output in generator:
yield request_output.outputs[0].textPermite construirea propriilor servere personalizate de chat cu latență minimă.
Întrebări & Exemple practice:
Clasa AsyncLLMEngine în vLLM: Motor Asincron pentru Servere Web FastAPI și WebSocketsAi o întrebare despre Clasa AsyncLLMEngine în vLLM: Motor Asincron pentru Servere Web FastAPI și WebSockets sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.