Ce înseamnă SLM (model lingvistic mic)
Un SLM (Small Language Model, model lingvistic mic) este un model de limbaj construit să fie compact și eficient. Nu există o graniță oficială, dar termenul se folosește de obicei pentru modelele de la câteva sute de milioane până la câteva miliarde de parametri, față de zeci sau sute de miliarde la modelele mari.
Avantajele: rulează pe hardware obișnuit (laptop, telefon), răspund repede, consumă puțină energie, costă puțin și pot funcționa fără internet, ceea ce protejează confidențialitatea. Dezavantajul: au mai puține cunoștințe și se descurcă mai slab la sarcini complexe sau la raționamente lungi.
Familii de modele care au și variante mici sunt, de exemplu, Phi (Microsoft), Gemma (Google), Llama (Meta) și Qwen (Alibaba). Producătorii de telefoane folosesc astfel de modele pentru funcțiile AI care rulează direct pe dispozitiv.
Cum funcționează
Un SLM are aceeași arhitectură de bază ca un LLM (de obicei transformer), doar cu mai puține straturi și mai puțini parametri. Pentru a compensa mărimea, este antrenat pe date atent selectate, de calitate, și adesea prin distilare, învățând de la un model mare. Pentru a rula pe dispozitive slabe, este de obicei și cuantizat.
În practică, SLM-urile sunt foarte bune la sarcini precise și repetitive: clasificarea mesajelor, extragerea de date, rezumate scurte, completare automată. Multe sisteme folosesc un SLM rapid pentru cererile simple și un LLM mare pentru cele dificile.
Pe înțelesul tuturor
Un LLM seamănă cu o enciclopedie în 30 de volume, iar un SLM cu un dicționar de buzunar: nu conține tot, dar îl ai mereu la tine, îl deschizi într-o secundă și, pentru multe nevoi zilnice, este suficient.
Exemplu
O aplicație de notițe pentru telefon folosește un SLM care rulează direct pe dispozitiv ca să rezume notițele și să le organizeze pe teme. Notițele nu sunt trimise pe niciun server, aplicația funcționează și în modul avion, iar răspunsul vine aproape instantaneu.
De reținut
- Un SLM este un model de limbaj mic și eficient, care poate rula local.
- Este rapid, ieftin și bun pentru confidențialitate, dar mai limitat decât un LLM.
- Este potrivit pentru sarcini precise și repetitive, nu pentru raționamente complexe.
Nu confunda
- SLM vs. LLM: diferența este de mărime și de capacitate, nu de principiu; granița dintre „mic” și „mare” se mută pe măsură ce tehnologia avansează.
- SLM vs. model cuantizat: cuantizarea micșorează un model existent reducând precizia numerelor; un SLM are de la început mai puțini parametri. Un SLM poate fi, la rândul lui, cuantizat.
Termeni înrudiți
- LLM (model lingvistic mare): Model AI antrenat pe cantități uriașe de text, care înțelege și generează limbaj; stă în spatele ChatGPT, Claude sau Gemini.
- Distilarea modelelor: Tehnica prin care un model mic („elev”) este antrenat să imite un model mare („profesor”), păstrând mare parte din performanță la un cost mult mai mic.
- Cuantizare: Tehnica prin care parametrii unui model sunt stocați pe mai puțini biți, ca modelul să ocupe mai puțină memorie și să ruleze mai repede.
- Edge AI (AI pe dispozitiv): Rularea modelelor AI direct pe telefon, laptop, cameră sau mașină, fără a trimite datele la un server din cloud.
- NPU (procesor neural): Componentă dintr-un telefon sau laptop specializată pe calcule AI, care rulează modele local, rapid și cu consum mic de energie.
- Model open source / open weights: Model AI ale cărui ponderi pot fi descărcate și rulate de oricine; un model complet open source ar include și codul și informații despre date.