Ce înseamnă NLP (procesarea limbajului natural)
NLP (Natural Language Processing, procesarea limbajului natural) este ramura inteligenței artificiale și a lingvisticii computaționale care îi învață pe calculatoare să lucreze cu limbajul omenesc, scris sau vorbit. „Natural” înseamnă aici limbile vorbite de oameni, precum româna sau engleza, spre deosebire de limbajele de programare.
Sarcinile clasice de NLP includ traducerea automată, corectarea gramaticală, recunoașterea entităților (nume de persoane, locuri, firme), analiza sentimentelor, clasificarea textelor, rezumarea, răspunsul la întrebări și, desigur, conversația.
Domeniul are o istorie lungă: unul dintre primele experimente publice de traducere automată, din rusă în engleză, a avut loc în 1954 (experimentul Georgetown–IBM), iar ELIZA, primul chatbot celebru, a apărut în 1966. Modelele lingvistice mari au transformat complet domeniul: multe sarcini care cereau înainte sisteme separate sunt rezolvate azi de un singur model.
Cum funcționează
Abordările s-au schimbat în timp. Întâi au fost regulile scrise de lingviști (gramatici, dicționare). Apoi au venit metodele statistice, care învățau din colecții mari de texte. Din anii 2010 domină rețelele neuronale, iar din 2018, modelele de tip transformer pre-antrenate pe cantități uriașe de text.
Pașii tipici sunt împărțirea textului în tokeni, transformarea lor în embedding-uri, prelucrarea cu un model și producerea rezultatului (o etichetă, o traducere, un răspuns). Pentru limba vorbită, NLP se combină cu recunoașterea și sinteza vocală.
Pe înțelesul tuturor
NLP este pentru calculatoare ce este învățarea unei limbi străine pentru oameni: vocabular și gramatică, dar și sens, context, ironie. Limbajele de programare sunt precise și fără ambiguități; limba omenească e plină de ele, de aceea e mult mai greu de „predat” unei mașini.
Exemplu
Un portal de știri folosește NLP ca să grupeze automat articolele pe teme, să extragă numele persoanelor și ale instituțiilor menționate și să detecteze comentariile jignitoare. Fiecare dintre aceste sarcini este o aplicație clasică a procesării limbajului natural.
De reținut
- NLP este domeniul care se ocupă de limbajul omenesc în calculatoare.
- Include traducere, rezumare, clasificare, analiza sentimentelor și conversație.
- LLM-urile sunt astăzi instrumentul dominant în NLP.
Nu confunda
- NLP în AI vs. NLP în dezvoltarea personală: „programarea neuro-lingvistică” folosește aceeași prescurtare, dar nu are nicio legătură cu procesarea limbajului natural.
- NLP vs. LLM: NLP este domeniul; LLM-urile sunt una dintre tehnologiile folosite în el, în prezent cea mai puternică.
Termeni înrudiți
- LLM (model lingvistic mare): Model AI antrenat pe cantități uriașe de text, care înțelege și generează limbaj; stă în spatele ChatGPT, Claude sau Gemini.
- Tokenizare: Procesul prin care textul este tăiat în tokeni și transformat în numere, singura formă pe care o poate procesa un model de limbaj.
- Traducere automată: Traducerea unui text sau a vorbirii dintr-o limbă în alta, realizată de un program, fără traducător uman.
- Analiza sentimentelor: Tehnică AI care stabilește automat dacă un text exprimă o opinie pozitivă, negativă sau neutră.
- Chatbot: Program cu care poți conversa în scris sau vocal; azi, cei mai capabili chatboți sunt construiți pe modele lingvistice mari.
- Speech-to-text (recunoaștere vocală): Tehnologie care transformă vorbirea dintr-o înregistrare sau de la microfon în text scris.