Ce înseamnă Segmentarea imaginilor
Segmentarea imaginilor este nivelul cel mai detaliat de înțelegere a unei imagini: în loc să pună un dreptunghi în jurul unui obiect, modelul colorează exact pixelii care îi aparțin. Rezultatul este o „hartă” în care fiecare pixel are o etichetă: om, cer, drum, mașină.
Se disting trei variante: segmentarea semantică (toți oamenii sunt colorați la fel, ca „om”), segmentarea pe instanțe (fiecare om primește propria culoare) și segmentarea panoptică, care le combină pe amândouă.
Cum funcționează
Modelul este antrenat pe imagini în care oamenii au trasat manual conturul fiecărui obiect, o muncă foarte migăloasă. Rețeaua învață să clasifice fiecare pixel ținând cont și de vecinii lui.
În 2023, Meta a publicat modelul Segment Anything (SAM), capabil să decupeze aproape orice obiect dintr-o imagine după un simplu clic pe el, chiar dacă nu a văzut acel tip de obiect la antrenare.
Pe înțelesul tuturor
Dacă detectarea obiectelor înseamnă să încercuiești cu pixul fiecare persoană dintr-o poză, segmentarea înseamnă să decupezi fiecare persoană cu foarfeca, exact pe contur.
Exemplu
Când estompezi fundalul într-un apel video, aplicația segmentează imaginea în „persoană” și „restul” de zeci de ori pe secundă. În medicină, segmentarea ajută la conturarea unei tumori pe o imagine RMN, pentru a-i măsura volumul; decizia finală rămâne însă la medic.
De reținut
- Segmentarea etichetează fiecare pixel, nu doar obiectul în ansamblu.
- Este folosită la decuparea fundalului, în imagistica medicală, la mașinile autonome și la editarea foto.
- Datele de antrenare sunt scumpe, pentru că fiecare contur trebuie trasat precis.
Nu confunda
- Segmentare vs. detectare de obiecte: detectarea dă un dreptunghi aproximativ; segmentarea dă forma exactă a obiectului.
Termeni înrudiți
- Computer vision (vedere artificială): Ramura AI care învață calculatoarele să „vadă”: să recunoască obiecte, fețe, text și mișcare în imagini și video.
- Recunoașterea obiectelor: Sarcina prin care un model AI găsește obiectele dintr-o imagine, spune ce sunt și unde se află fiecare.
- Inpainting și outpainting: Editare cu AI care umple sau înlocuiește o zonă aleasă dintr-o imagine (inpainting) ori o extinde dincolo de margini (outpainting).
- AI în medicină: Folosirea AI pentru a ajuta medicii la diagnostic, la citirea imaginilor medicale, la cercetarea de medicamente și la munca administrativă.
- CNN (rețea neuronală convoluțională): Tip de rețea neuronală specializat pe imagini, care caută tipare mici (margini, colțuri) și le combină în forme și obiecte.