Performanța unui model mare de limbaj depinde în primul rând de puritatea setului de pre-antrenare. Pipeline-urile de procesare a datelor (cum ar fi cele din spatele FineWeb sau RedPajama) filtrează zeci de terabiți de text brut colectat din Common Crawl.
Etapele pipeline-ului de pregătire a datelor:
1. Deduplicare fuzzy la nivel de document prin MinHash LSH: elimină paginile oglindă,
spam-ul de SEO și textele repetitive copiate identic pe mii de domenii.
2. Filtrare euristică: elimină documentele cu prea puține cuvinte unice, linii de cod întrerupte
sau caractere repetitive ("lorem ipsum", erori HTTP).
3. Clasificatori de calitate: modele rapide bazate pe FastText sau mici Transformers antrenați
să recunoască stilul enciclopedic calitativ (Wikipedia, cărți, publicații academice).GIGO (Garbage In, Garbage Out): O filtrare agresivă a datelor care elimină 70% din web-ul brut produce modele considerabil mai inteligente.
Întrebări & Discuții: Curarea și Deduplicarea Datelor în LLM: MinHash LSH și Filtrarea Toxică
Ai o întrebare despre Curarea și Deduplicarea Datelor în LLM: MinHash LSH și Filtrarea Toxică sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.