Gestiunea Limitelor de Context (64k / 128k) și max_tokens în DeepSeek (V4 & R1)

Modelele DeepSeek suportă o fereastră totală de context de 64.000 de tokeni (pe API-ul standard comercial) sau 128.000 de tokeni (pe clustere dedicate și instanțe locale). Cu toate acestea, există o distincție între lungimea de context la intrare și limita maximă de ieșire per apel:

• deepseek-chat: Suportă până la 8.192 de tokeni generați per apel (max_tokens).
• deepseek-reasoner: Suportă până la 32.768 de tokeni totali (incluzând tokenii de gândire internă + răspunsul final).

# Alocarea unui buffer generos pentru raționamente matematice lungi
response = client.chat.completions.create(
    model="deepseek-reasoner",
    messages=[{"role": "user", "content": "Analizează acest contract de 20 de pagini..."}],
    max_tokens=16384  # Permite deliberare extinsă
)

Dacă răspunsul atinge limita max_tokens, proprietatea finish_reason va avea valoarea length, indicând că generarea a fost trunchiată.