Parametrii de eșantionare controlează gradul de certitudine sau creativitate al modelului:
temperature = 0.0:Greedy Decoding — modelul alege întotdeauna cel mai probabil token (ideal pentru cod, JSON și matematică).temperature = 0.7:Echilibru excelent pentru conversații, redactare de articole și asistență generală.top_p = 0.9 (Nucleus Sampling):Selectează doar tokenii a căror masă cumulată de probabilitate este de 90%, tăind „coada lungă” a cuvintelor absurde.
Pe Groq, calculul softmax și eșantionarea sunt executate nativ în unitățile hardware dedicate ale LPU.
Întrebări & Exemple practice:
Ajustarea Temperaturii, Top-P și a Eșantionării pe LPUAi o întrebare despre Ajustarea Temperaturii, Top-P și a Eșantionării pe LPU sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.