StreamingResponse în FastAPI în FastAPI

Atunci când generezi rapoarte masive cu milioane de rânduri sau când livrezi date în timp real (cum ar fi răspunsurile generate token cu token de un model LLM / OpenAI prin Server-Sent Events), încărcarea întregului conținut în memoria RAM a serverului poate bloca procesul.

Clasa StreamingResponse consumă un generator asincron Python și transmite datele către client în bucăți mici (chunked transfer encoding), menținând consumul de memorie la un nivel constant și minim.

from fastapi import FastAPI
from fastapi.responses import StreamingResponse
import asyncio

app = FastAPI()

async def fake_data_streamer():
    for i in range(1, 6):
        await asyncio.sleep(1) # Simulare calcul sau așteptare eveniment
        yield f"Pachet date #{i}
"

@app.get("/stream")
async def stream_data():
    return StreamingResponse(fake_data_streamer(), media_type="text/plain")