AsyncLLMEngine este nucleul asincron de înaltă performanță din vLLM, conceput pentru integrarea directă în framework-uri Python moderne bazate pe asyncio precum FastAPI, Sanic sau Tornado. Permite transmiterea fluxurilor de tokeni (Streaming) către zeci de mii de clienți concurenți fără a bloca bucla de evenimente.
from vllm import AsyncEngineArgs, AsyncLLMEngine, SamplingParams
engine_args = AsyncEngineArgs(model="meta-llama/Meta-Llama-3.1-8B-Instruct")
engine = AsyncLLMEngine.from_engine_args(engine_args)
async def stream_raspuns(prompt: str, request_id: str):
sampling_params = SamplingParams(temperature=0.7, max_tokens=256)
results_generator = engine.generate(prompt, sampling_params, request_id)
async for request_output in results_generator:
yield request_output.outputs[0].textThroughput extrem: Baza pe care este construit serverul oficial vllm.entrypoints.openai.api_server.
Întrebări & Exemple practice:
Clasa AsyncLLMEngine în Python pentru Aplicații Asincrone de ProducțieAi o întrebare despre Clasa AsyncLLMEngine în Python pentru Aplicații Asincrone de Producție sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.