În loc să ceară modelului să ghicească coordonate exacte în pixeli (care sunt frecvent greșite), tehnica Set-of-Marks (SoM) injectează mici etichete galbene numerotate peste fiecare buton, link și câmp text:
Instrucțiune trimisă către LLM:
"Pe ecran vezi elementele numerotate de la [1] la [45].
Dacă dorești să apeși pe butonul 'Cumpără', emite acțiunea: click_element(index=12)"Această abordare transformă o problemă dificilă de geometrie spațială într-o simplă selecție de index numeric, crescând rata de succes la peste 95%.
Întrebări & Exemple practice:
Tehnica Set-of-Marks (SoM) pentru Numerotarea ElementelorAi o întrebare despre Tehnica Set-of-Marks (SoM) pentru Numerotarea Elementelor sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.