Dacă setul de date este compus din mii de instrucțiuni scurte (ex: 150 tokeni per rând), iar max_seq_length=2048, peste 90% din calculele GPU ar procesa tokeni inutili de padding. Împachetarea secvențelor (packing) combină mai multe mostre independente într-un singur bloc de 2048 tokeni separat prin măști de atenție.
# Pentru majoritatea adaptărilor fine de precizie, se recomandă packing=False
# pentru a evita contaminarea atenției între mostre diferite
packing = False
# Dacă aveți un dataset uriaș de pre-antrenare continuă, folosiți packing=True
print("Stare sequence packing:", packing)Unsloth optimizează ambele moduri, oferind o viteză excepțională indiferent de opțiunea aleasă.
Întrebări & Exemple practice:
Împachetarea Secvențelor Scurte (packing=True / False)Ai o întrebare despre Împachetarea Secvențelor Scurte (packing=True / False) sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.