Înainte de a genera răspunsuri de test cu modelul antrenat, apelul FastLanguageModel.for_inference(model) este obligatoriu. Această funcție trece toate straturile rețelei în modul de evaluare (eval) și activează nucleele de inferență rapidă Unsloth, dublând viteza de generare a tokenilor.
from unsloth import FastLanguageModel
# Activarea modului de inferență optimizată
FastLanguageModel.for_inference(model)
print("Modelul este configurat pentru generare de mare viteză!")Această setare eliberează bufferele temporare de gradient, asigurând că memoria GPU este alocată exclusiv pentru cache-ul KV.
Întrebări & Exemple practice:
Trecerea Modelului în Modul de Inferență cu FastLanguageModel.for_inferenceAi o întrebare despre Trecerea Modelului în Modul de Inferență cu FastLanguageModel.for_inference sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.