Ce înseamnă Model fundamental (foundation model)
Un model fundamental (foundation model) este un model AI foarte mare, antrenat pe cantități uriașe de date variate, de obicei fără etichete, care poate fi apoi adaptat pentru o mulțime de sarcini diferite: conversație, rezumare, traducere, programare, analiză de imagini și multe altele.
Termenul a fost propus în 2021 de cercetători de la Universitatea Stanford, care au vrut să sublinieze că aceste modele devin „fundația” pe care se construiesc multe aplicații. Modelele lingvistice mari precum GPT, Claude, Gemini sau Llama sunt modele fundamentale, la fel ca unele modele pentru imagini sau sunet.
Avantajul este uriaș: în loc ca fiecare firmă să antreneze un model separat pentru fiecare sarcină, toată lumea poate porni de la același model puternic. Dezavantajul: defectele modelului fundamental (erori, prejudecăți, vulnerabilități) se transmit tuturor aplicațiilor construite pe el. De aceea, AI Act are reguli speciale pentru „modelele AI de uz general”.
Cum funcționează
Modelul este pre-antrenat o singură dată, de o companie cu resurse mari, pe date foarte diverse, prin învățare auto-supervizată (de exemplu, prezicerea următorului cuvânt). Apoi este adaptat în mai multe feluri: prin prompturi, prin fine-tuning, prin RAG sau prin conectarea la unelte externe.
Pe înțelesul tuturor
Un model fundamental seamănă cu fundația și structura de rezistență a unui bloc: se construiește o dată, cu efort mare, iar apoi fiecare spațiu poate fi amenajat diferit: locuință, birou, cabinet medical. Dacă fundația are o fisură, însă, toate spațiile sunt afectate.
Exemplu
Pe același model fundamental, o firmă construiește un asistent pentru juriști, alta un instrument care rezumă ședințele, iar a treia un sistem care răspunde la e-mailurile clienților. Niciuna nu a antrenat un model de la zero; toate au adaptat același model prin prompturi, RAG sau fine-tuning.
De reținut
- Un model fundamental este un model mare, general, care poate fi adaptat la multe sarcini.
- Termenul a fost propus de cercetători de la Stanford, în 2021.
- Calitățile și defectele lui se transmit tuturor aplicațiilor construite pe el.
Nu confunda
- Model fundamental vs. LLM: majoritatea LLM-urilor mari sunt modele fundamentale, dar există și modele fundamentale pentru imagini, sunet sau date științifice.
- Model fundamental vs. model de bază (base model): „base model” înseamnă de obicei varianta brută, doar pre-antrenată, înainte de instruction tuning; „foundation model” se referă la rolul modelului de fundație pentru multe aplicații.
Termeni înrudiți
- LLM (model lingvistic mare): Model AI antrenat pe cantități uriașe de text, care înțelege și generează limbaj; stă în spatele ChatGPT, Claude sau Gemini.
- Fine-tuning: Antrenarea suplimentară a unui model deja antrenat, pe un set mic de exemple, ca să se specializeze pe o sarcină, un domeniu sau un stil.
- Model open source / open weights: Model AI ale cărui ponderi pot fi descărcate și rulate de oricine; un model complet open source ar include și codul și informații despre date.
- AI Act (Regulamentul UE privind AI): Legea europeană care reglementează sistemele AI după nivelul de risc: unele practici sunt interzise, altele au obligații stricte.
- GPT: Familia de modele de limbaj creată de OpenAI, folosită în ChatGPT; numele înseamnă „transformer generativ pre-antrenat”.
- Transfer learning: Refolosirea unui model antrenat deja pe o sarcină mare, pentru a rezolva cu puține date o sarcină nouă, înrudită.