API-urile furnizorilor mari de AI impun limite stricte pe două dimensiuni concomitente: RPM (Numărul de cereri pe minut) și TPM (Numărul de tokeni consumați pe minut). Depășirea acestor praguri declanșează erori costisitoare HTTP 429.
Algoritmul Token Bucket stochează tokeni virtuali într-un container ce se re-alimentează cu o rată constantă. O cerere este procesată doar dacă în container există suficienți tokeni pentru a acoperi estimarea de lungime a promptului:
import time
class TokenBucket:
def __init__(self, capacity: int, refill_rate_per_sec: float):
self.capacity = capacity
self.tokens = capacity
self.refill_rate = refill_rate_per_sec
self.last_update = time.time()
def consume(self, estimated_tokens: int) -> bool:
now = time.time()
elapsed = now - self.last_update
self.tokens = min(self.capacity, self.tokens + elapsed * self.refill_rate)
self.last_update = now
if self.tokens >= estimated_tokens:
self.tokens -= estimated_tokens
return True
return FalseGestionarea cozilor de așteptare la nivelul gateway-ului elimină riscul de eșec al tranzacțiilor utilizatorilor finali.
Întrebări & Exemple practice:
Rate Limiting și Algoritmul Token Bucket în Aplicații LLMAi o întrebare despre Rate Limiting și Algoritmul Token Bucket în Aplicații LLM sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.