Parametrul max_new_tokens specifică lungimea maximă a răspunsului generat de model, independent de numărul de tokeni prezenți în întrebare (spre deosebire de vechiul max_length).
# Limitare la 256 de tokeni pentru rezumate scurte
max_new_tokens = 256
# Pentru generare de cod sau eseuri lungi, creșteți la 1024 sau 2048:
# max_new_tokens = 1024Generarea se oprește fie la atingerea acestui plafon, fie atunci când modelul produce un token EOS (End of Sequence).
Întrebări & Exemple practice:
Limitarea Lungimii Răspunsului cu max_new_tokensAi o întrebare despre Limitarea Lungimii Răspunsului cu max_new_tokens sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.