Ce înseamnă Risc existențial (AI)
Riscul existențial legat de AI este îngrijorarea că sisteme mult mai capabile decât cele de azi, eventual o AGI sau o superinteligență, ar putea produce o catastrofă la scara întregii omeniri: fie pentru că urmăresc obiective nealiniate cu ale noastre, fie pentru că sunt folosite intenționat în scopuri distructive.
Subiectul este dezbătut serios, dar opiniile sunt foarte împărțite. În mai 2023, sute de cercetători și conducători din industrie, printre care Geoffrey Hinton, Yoshua Bengio și liderii OpenAI, Anthropic și Google DeepMind, au semnat o declarație de o frază: reducerea riscului de extincție din cauza AI ar trebui să fie o prioritate globală, alături de pandemii și războiul nuclear. Alți cercetători, precum Yann LeCun, consideră aceste temeri exagerate și cer atenție pentru riscurile concrete de azi.
Cum funcționează
Argumentul principal are câțiva pași: capabilitățile AI cresc rapid; un sistem foarte capabil, care urmărește un obiectiv, ar putea găsi că e util să obțină resurse și să evite să fie oprit; dacă obiectivul nu e perfect aliniat cu valorile umane, rezultatul poate fi grav; iar o greșeală la un sistem suficient de puternic s-ar putea să nu mai poată fi corectată.
Răspunsurile propuse includ cercetare în aliniere și interpretabilitate, evaluări ale capabilităților periculoase înainte de lansare, politici de scalare responsabilă în companii și cooperare internațională.
Pe înțelesul tuturor
Seamănă cu discuțiile despre siguranța primelor centrale nucleare: nimeni nu știa sigur cât de probabil este un accident grav, dar consecințele posibile erau atât de mari încât merita investit mult în prevenire.
Exemplu
Un exemplu teoretic des folosit este „maximizatorul de agrafe”: un sistem foarte capabil, căruia i se cere doar să producă cât mai multe agrafe de birou, ar putea, dacă nu are alte limite, să transforme orice resursă în agrafe și să se opună încercărilor de oprire. Exemplul nu e o predicție, ci o ilustrare a ideii că un obiectiv prost specificat poate deveni periculos la un sistem puternic.
De reținut
- Este un risc ipotetic, pe termen lung, despre care experții nu cad de acord.
- Discuția a influențat politicile marilor laboratoare AI și ale unor guverne.
- Nu exclude preocuparea pentru riscurile actuale: bias, dezinformare, siguranță.
Nu confunda
- Risc existențial vs. scenarii SF: discuția serioasă nu presupune roboți „răi” sau conștiință, ci sisteme care urmăresc eficient obiective greșit formulate.
Termeni înrudiți
- Siguranța AI (AI safety): Domeniul care încearcă să facă sistemele AI să funcționeze fără a provoca rău, accidental sau prin abuz, acum și pe viitor.
- Alinierea AI: Efortul de a face sistemele AI să urmărească scopurile, valorile și intențiile oamenilor, nu doar instrucțiunile lor literale.
- AGI (inteligență artificială generală): Un tip ipotetic de AI capabil să învețe și să facă aproape orice sarcină intelectuală pe care o poate face un om.
- Superinteligență (ASI): Un tip ipotetic de AI care ar depăși cu mult cei mai inteligenți oameni în aproape orice domeniu, de la știință la strategie.
- Guvernanța AI: Regulile, rolurile și procesele prin care o organizație sau un stat controlează cum se dezvoltă și se folosește AI.