Ce înseamnă Pre-antrenarea (Pre-training)
Pre-antrenarea este etapa în care un model pornește de la ponderi aleatoare și învață limba, codul și cunoștințe generale dintr-un corpus foarte mare: pagini web, cărți, cod, articole științifice.
Sarcina este una singură: prezicerea următorului token. Datele nu au nevoie de etichete puse de oameni, pentru că răspunsul corect este chiar continuarea textului (învățare auto-supervizată).
Cum funcționează
Modelul primește un fragment de text, prezice distribuția pentru tokenul următor și este penalizat prin pierderea cross-entropy. Ponderile se ajustează cu un optimizator (Llama 2 a folosit AdamW).
Rezultatul este un model de bază (base model), care continuă text, dar nu urmează încă instrucțiuni. Urmează post-antrenarea: SFT și aliniere pe preferințe.
Pe înțelesul tuturor
Pre-antrenarea seamănă cu cititul unei biblioteci uriașe fără profesor: înveți limba și multe fapte, dar nu ți-a spus nimeni încă cum să răspunzi la o întrebare.
Exemplu
Llama 3 405B a fost pre-antrenat pe 15,6 trilioane de tokeni, pe până la 16.000 de GPU-uri H100 (raportul Meta, 2024). DeepSeek-V3 a fost pre-antrenat pe 14,8 trilioane de tokeni, iar antrenarea completă a cerut 2,788 milioane de ore GPU H800 (raportul tehnic DeepSeek).
Un model de bază întrebat „Care este capitala Franței?” poate continua cu altă întrebare, ca într-un chestionar, în loc să răspundă.
De reținut
- Pre-antrenarea este etapa cu cel mai mare volum de date.
- Modelul nu stochează paginile ca o bază de date; tot ce învață se află în ponderi.
Nu confunda
- Pre-antrenare vs. fine-tuning: pre-antrenarea pornește de la zero pe date generale; fine-tuning-ul ajustează un model deja antrenat pe date mai puține și specifice.
Termeni înrudiți
- Predicția Următorului Token: Sarcina de bază a unui LLM: pentru un text dat, calculează probabilitatea fiecărui token din vocabular de a veni imediat după.
- Legile de scalare (Scaling Laws): Relațiile măsurate între mărimea modelului, cantitatea de date, calculul de antrenare și calitatea unui LLM, folosite pentru a planifica antrenarea.
- Supervised Fine-Tuning (SFT): Etapa în care un model de bază este antrenat pe exemple de instrucțiuni și răspunsuri bune, ca să învețe formatul și comportamentul unui asistent.
- RLHF (Alinierea prin Feedback Uman): Metoda de aliniere în care oamenii compară răspunsuri, un model de recompensă învață aceste preferințe, iar LLM-ul este optimizat prin învățare prin întărire.