În timp ce Hard Prompts sunt texte scrise manual în cuvinte umane, Soft Prompts (Prompt Tuning / Prefix Tuning) sunt secvențe de vectori continui de embedding optimizați direct prin coborâre de gradient (backpropagation) fără a modifica ponderile de bază ale modelului.
Comparație:
- Hard Prompting: Ușor de înțeles, explicabil, dar sensibil la formulări și greu de optimizat fin.
- Soft Prompting (Prompt Tuning):
- Se adaugă 20-50 de tokeni virtuali de embedding în fața promptului.
- Ponderile Transformer-ului sunt înghețate complet.
- Doar acești vectori virtuali sunt ajustați pe setul de date.
- Ocupă doar câțiva megabytes și poate comuta specializarea modelului instantaneu.Fuziune optimă: O punte revoluționară între simplitatea prompturilor și precizia matematică a fine-tuning-ului.
Întrebări & Discuții: Hard Prompts vs Soft Prompts: Prompting Discret vs Prefix Tuning
Ai o întrebare despre Hard Prompts vs Soft Prompts: Prompting Discret vs Prefix Tuning sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.