dexblog.ro
AI Toți termenii

Ce este Model multimodal?

Modele de limbaj și chatboți Nivel: începător

Model AI care lucrează cu mai multe tipuri de date: text, imagini, sunet sau video, pe care le poate înțelege și, uneori, genera.

Denumire completă

Multimodal Model – model multimodal

Ce înseamnă Model multimodal

Un model multimodal este un model AI care poate lucra cu mai multe modalități, adică tipuri de date: text, imagini, sunet, video. Poate, de exemplu, să descrie o fotografie, să răspundă la întrebări despre un grafic, să transcrie și să rezume o înregistrare sau să creeze o imagine pornind de la un text.

Primele modele de limbaj lucrau doar cu text. Astăzi, majoritatea asistenților AI importanți (ChatGPT, Claude, Gemini) acceptă imagini și documente, iar unii pot purta conversații vocale în timp real sau pot analiza clipuri video.

Multimodalitatea face AI-ul mult mai util în viața de zi cu zi, pentru că lumea reală nu înseamnă doar text: facturi scanate, poze cu o defecțiune, schițe pe tablă, înregistrări ale unei ședințe.

Cum funcționează

Fiecare tip de date este transformat într-o formă pe care modelul o poate procesa. O imagine, de exemplu, este împărțită în pătrățele mici (patch-uri), fiecare transformat într-un vector, asemănător cu tokenii unui text. Sunetul este transformat în mod similar. Toți acești vectori ajung în același model, care învață legăturile dintre ei: că textul „pisică” și imaginea unei pisici înseamnă același lucru.

Unele modele doar înțeleg mai multe tipuri de date (primesc imagini, dar răspund cu text); altele le pot și genera (text, imagini, voce).

Pe înțelesul tuturor

Un model doar cu text seamănă cu un om care primește totul prin scrisori. Un model multimodal seamănă cu un om care poate și să vadă, și să audă: îi poți arăta direct o poză sau îi poți vorbi, în loc să-i descrii totul în cuvinte.

Exemplu

Un șofer fotografiază martorii aprinși pe bordul mașinii și trimite poza unui asistent AI multimodal, întrebând ce înseamnă. Modelul recunoaște simbolurile din imagine, explică ce indică fiecare și spune ce ar trebui verificat urgent la service. Fără multimodalitate, șoferul ar fi trebuit să descrie în cuvinte fiecare simbol.

De reținut

  • Un model multimodal lucrează cu mai multe tipuri de date: text, imagini, sunet, video.
  • Unele modele doar înțeleg mai multe tipuri de date, altele le și generează.
  • Poate greși la detaliile din imagini (cifre mici, scris de mână), așa că verifică informațiile importante.

Nu confunda

  • Multimodal vs. text-to-image: un generator text-to-image transformă doar text în imagini; un model multimodal general poate face mult mai multe combinații.
  • Model nativ multimodal vs. mai multe modele legate: unele aplicații par multimodale, dar transformă de fapt vocea în text cu un model separat; un model nativ multimodal procesează direct toate tipurile de date.

Termeni înrudiți