Clasa InMemoryRateLimiter controlează frecvența apelurilor către API-urile externe la nivel de client, întârziind automat cererile pentru a respecta cotele impuse de furnizori (Tokens Per Minute / Requests Per Minute).
from langchain_core.rate_limiters import InMemoryRateLimiter
from langchain_openai import ChatOpenAI
limiter = InMemoryRateLimiter(requests_per_second=2, check_every_n_seconds=0.1)
model = ChatOpenAI(model="gpt-4o", rate_limiter=limiter)Predictibilitate: Elimină apariția excepțiilor de rate limit în procesările paralele de tip batch.
Întrebări & Exemple practice:
InMemoryRateLimiter: Limitarea Ratei de Apeluri pentru Prevenirea Erorilor 429Ai o întrebare despre InMemoryRateLimiter: Limitarea Ratei de Apeluri pentru Prevenirea Erorilor 429 sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.