Ce înseamnă Model card
Un model card („fișa modelului”) este pentru un model AI ce este prospectul pentru un medicament: spune la ce e bun, cum a fost testat, pentru cine nu e potrivit și ce efecte nedorite poate avea.
Ideea a fost propusă în 2018 de un grup de cercetători de la Google, în lucrarea „Model Cards for Model Reporting”. Astăzi, aproape toate modelele publicate pe platforme precum Hugging Face au un model card, iar marile companii publică documente similare (uneori numite system cards) la lansarea modelelor noi.
Cum funcționează
Un model card conține de obicei: detalii despre model (cine l-a făcut, tipul, licența), utilizări prevăzute și utilizări nerecomandate, datele de antrenare și de evaluare, rezultatele pe benchmark-uri, inclusiv defalcate pe grupuri (limbă, gen, vârstă), limitări și riscuri cunoscute și considerații etice.
Un concept înrudit este datasheet for datasets, o fișă similară pentru seturile de date.
Pe înțelesul tuturor
Gândește-te la eticheta de pe un aparat electric: tensiune, putere, avertismente, „nu folosiți în baie”. Fără ea, poți să-l folosești greșit fără să știi.
Exemplu
O echipă dintr-o universitate românească publică pe Hugging Face un model care recunoaște entități (nume, locuri, instituții) în texte în limba română. În model card scriu că a fost antrenat pe știri și texte juridice, că funcționează mai slab pe limbaj colocvial și pe texte fără diacritice și că nu a fost testat pe limba română din Republica Moldova. Cine îl folosește știe exact la ce să se aștepte.
De reținut
- Model card = documentația standard a unui model AI.
- Cele mai utile părți sunt limitările și rezultatele defalcate pe grupuri.
- Un model card bun ajută la alegerea, auditul și folosirea corectă a modelului.
Nu confunda
- Model card vs. documentație tehnică: documentația explică cum instalezi și folosești modelul; model card-ul explică ce poate și ce nu poate face și cu ce riscuri.
Termeni înrudiți
- Hugging Face: Platforma online unde comunitatea AI publică și descarcă modele, seturi de date și aplicații demonstrative; un fel de GitHub al AI-ului.
- AI responsabilă: Un set de principii și practici pentru a dezvolta și folosi AI în mod etic, sigur, transparent și cu respect pentru oameni.
- Audit algoritmic: Verificarea independentă a unui sistem AI pentru a afla dacă funcționează corect, echitabil, sigur și conform regulilor.
- Benchmark (test de performanță AI): Un set standard de întrebări sau sarcini pe care sunt testate modelele AI, ca să poată fi comparate între ele.
- Set de date (dataset): O colecție organizată de exemple (texte, imagini, tabele) folosită pentru a antrena, verifica sau compara modele AI.