Computer Vision: YOLO, SAM 2 & Viziune Computațională reprezintă disciplina de vârf a inteligenței artificiale dedicate înțelegerii, procesării și extragerii de decizii automate din imagini și fluxuri video în timp real. De la identificarea rapidă a obiectelor și urmărirea vehiculelor pe camere CCTV, până la segmentarea precisă la nivel de pixel și raționamentul multimodal cu modele Vision-Language, viziunea artificială este fundamentul sistemelor moderne de robotică, vehicule autonome și supraveghere inteligentă.
Această secțiune oferă o documentație exhaustivă structurată pe 9 direcții tehnice esențiale: manipularea matricială a imaginilor (OpenCV, NumPy, Albumentations), detecția de obiecte în timp real cu Ultralytics YOLOv8 & YOLOv11, segmentarea avansată cu Meta SAM 2 (Segment Anything), estimarea posturii umane (YOLO-Pose), urmărirea obiectelor video (ByteTrack & BoT-SORT), recunoașterea textului (OCR modern & PaddleOCR), modele Vision-Language (Microsoft Florence-2, Qwen2-VL), estimarea adâncimii 3D cu Depth Anything V2 și optimizarea de înaltă performanță pe hardware dedicat prin NVIDIA TensorRT și ONNX.
Instalare Rapidă Ecosistem Computer Vision
Instalați pachetele fundamentale pentru proiecte profesionale de viziune în Python:
# Instalare bibliotecă oficială Ultralytics (YOLOv8 / YOLOv11)
pip install ultralytics supervision
# Instalare unelte de manipulare grafică și matematică
pip install opencv-python pillow albumentations numpy open3d
# Instalare suport pentru modele Vision-Language Hugging Face
pip install transformers timm einopsGhidul Complet al Comenzilor, Modelelor & Algoritmilor de Computer Vision
Tabelul de mai jos centralizează toate clasele, uneltele, algoritmii de urmărire și arhitecturile din ecosistemul Computer Vision:
| Model / Algoritm / Tehnică Computer Vision | Descriere Tehnică & Caz de Utilizare |
|---|---|
| Fundamente, Formate de Imagini & Ecosistem Python CV | |
| Captură Video în Timp Real din Camere Web și Stream-uri RTSP | Citirea continuă a cadrelor din camere IP de supraveghere cu prevenirea acumulării de latență în buffer. |
| Formate de Bounding Boxes: XYXY, XYWH, CXCYWH și Conversii | Maparea coordonatelor casetelor de delimitare între standardele Pascal VOC, COCO și formatul normalizat YOLO. |
| Manipularea Imaginilor: OpenCV, NumPy Arrays și Canale BGR vs. RGB | Reprezentarea matricială a pixelilor, inversarea ordinii canalelor de culoare și conversia în tensori PyTorch. |
| Augmentarea Imaginilor cu Biblioteca Albumentations | Îmbunătățirea setului de antrenare prin rotații, zgomot gaussian, mozaic și adaptarea automată a etichetelor. |
| Introducere în Computer Vision Modern: de la OpenCV la Deep Learning | Evoluția vederii artificiale: de la filtre manuale clasice la rețele convoluționale (CNN) și Vision Transformers (ViT). |
| Spații de Culoare și Binarizare Adaptivă (HSV, Otsu) | Separarea culorilor independente de luminozitate prin spațiul HSV și binarizarea automată a documentelor. |
| Conducte de Preprocesare cu TorchVision (v2 Transforms) | Optimizarea conductelor de date pe GPU cu suport nativ pentru măști, casete și tensori PyTorch. |
| Profilarea Performanței: Măsurarea FPS și a Latenței de Inferență | Calcularea exactă a vitezei de procesare (Frames Per Second) și identificarea blocajelor dintre CPU și GPU. |
| Biblioteca Roboflow Supervision pentru Adnotare și Filtrare | Suita de utilități pentru adnotare vizuală elegantă, numărare automată pe zone și trasare de măști. |
| Conversia între Formatele COCO JSON, Pascal VOC și YOLO TXT | Pregătirea seturilor de date descărcate de pe platforme publice pentru antrenarea modelelor Ultralytics. |
| Detecție de Obiecte cu YOLO | |
| Evoluția Arhitecturii YOLO: de la YOLOv1 la YOLOv8 și YOLOv11 | Inovațiile structurale care au transformat YOLO în cel mai rapid detector de obiecte din lume. |
| Instalarea și Configurarea Pachetului Oficial Ultralytics | Instalarea pachetului unificat Python cu suport pentru PyTorch, accelerare CUDA și descărcare automată a ponderilor. |
| Algoritmul Non-Maximum Suppression (NMS) | Cum selectează algoritmul cea mai sigură casetă de delimitare și elimină predicțiile suprapuse. |
| Optimizarea Hiperparametrilor de Antrenare (Batch, LR, Optimizator) | Ajustarea ratei de învățare (Learning Rate), decăderii greutăților și a programatoarelor cosinus. |
| Utilizarea API-ului Python Ultralytics și Obiectul Results | Extragerea coordonatelor casetelor (xyxy), a scorurilor de încredere (conf) și a identificatorilor de clasă (cls). |
| Antrenarea Modelului YOLO pe un Set de Date Propriu (Custom Dataset) | Configurarea fișierului `dataset.yaml`, pornirea procesului de antrenare pe GPU și monitorizarea curbelor de pierdere. |
| Calibrarea Pragurilor de Încredere (conf) și Suprapunere (iou) | Echilibrarea optimă între detecțiile ratate (False Negatives) și alarmele false (False Positives). |
| Rularea Inferenței Rapide din Linia de Comandă (YOLO CLI) | Testarea instantanee a modelelor pe imagini, directoare, fișiere video sau stream-uri YouTube din terminal. |
| Comparația Versiunilor YOLO11: de la Nano la XLarge | Ghid de alegere a variantei optime în funcție de compromisul dintre precizie (mAP) și viteza de rulare (FPS). |
| Evaluarea Preciziei: Metricele mAP@50 și mAP@50-95 | Înțelegerea modului de calcul al preciziei medii (Mean Average Precision) pe setul de validare. |
| Segmentare Semantică & Instanțiere | |
| Diferența dintre Detecție, Segmentare Semantică și Segmentare a Instanțelor | Clasificarea teoretică a nivelurilor de granularitate vizuală în analiza imaginilor. |
| SAM 2 (Segment Anything 2): Segmentare Video și Imagini în Timp Real | Arhitectura modernă Hiera Transformer care extinde segmentarea interactivă la secvențe video continue. |
| Segmentarea Instanțelor cu YOLO11-Seg (Ultralytics) | Extragerea contururilor poligonale și a măștilor binare în timp real la peste 60 FPS. |
| Segment Anything Model (SAM) de la Meta: Arhitectură și Promptare | Modelul revoluționar Zero-Shot antrenat pe 1 miliard de măști, capabil să decupeze orice obiect din lume. |
| Propagarea Măștilor Video în SAM 2 (Memory Attention) | Cum folosește SAM 2 atenția temporală pentru a ține minte aspectul obiectului chiar dacă acesta se rotește sau este ascuns parțial. |
| Decuparea Automată a Fundalului (Background Removal & Matting) | Crearea imaginilor transparente PNG pentru magazine online și cataloage de produse de comerț electronic. |
| Compresia Măștilor în Poligoane și Format RLE (Run-Length Encoding) | Salvarea compactă a milioanelor de pixeli din măști în fișiere JSON fără a ocupa zeci de megabytes. |
| Integrarea Grounded-SAM: Detecție prin Text + Segmentare Instantanee | Combinarea modelelor Vision-Language cu SAM pentru segmentare condusă complet prin instrucțiuni în limbaj natural. |
| Ghidarea SAM prin Prompturi Vizuale: Puncte Pozitive/Negative și Casete | Tehnica de adăugare a punctelor de includere (etichetă 1) și de excludere (etichetă 0) pentru rafinarea măștii. |
| Generarea Automată a Tuturor Măștilor dintr-o Imagine (Everything Mode) | Segmentarea exhaustivă a fiecărui element și textură din scenă printr-o grilă automată de puncte de eșantionare. |
| Segmentarea Industrială și Medicală: Detecția Fisurilor și a Leziunilor | Aplicații critice de asigurare a calității: măsurarea dimensiunilor fisurilor în piese metalice sau a anomaliilor celulare. |
| Clasificare, Estimare de Poză & Detecție de Orientare | |
| Clasificarea Imaginilor cu YOLO11-Cls (Ultralytics) | Atribuirea rapidă a unei categorii globale întregii imagini cu un consum minuscul de calcul. |
| Estimarea Posturii Umane cu YOLO11-Pose (17 Keypoints COCO) | Detectarea automată a articulațiilor corpului: nas, ochi, urechi, umeri, coate, încheieturi, șolduri, genunchi și glezne. |
| Casete de Delimitare Orientate sub Unghi (YOLO-OBB) | Detectarea obiectelor rotite arbitrar prin casete definite de 5 parametri: [cx, cy, w, h, unghi_rotatie]. |
| Aplicații Practice de Analiză a Mișcării: Căderi și Fitness | Construirea sistemelor de alertă timpurie pentru spitale și azile de bătrâni prin analiza traiectoriei posturale. |
| Desenarea Scheletului Anatomic și Calculul Unghiurilor Articulare | Calcularea unghiurilor geometrice din articulații folosind produsul scalar al vectorilor 2D. |
| Detecția Obiectelor în Imagini Satelitare și Aeriene (DOTA Dataset) | Separarea navelor andocate una lângă alta și a containerelor portuare compacte fără suprapuneri artificiale. |
| Estimarea Vitezei Vehiculelor din Fluxuri Video CCTV | Calcularea vitezei reale în km/h prin transformarea coordonatelor pixelilor în metri prin omografie. |
| Generarea Hărților de Căldură (Heatmaps) pentru Densitate Vizuală | Vizualizarea zonelor cele mai frecventate de clienți într-un magazin pe baza cumulării traiectoriilor. |
| Măsurarea Distanței Fizice dintre Obiecte în Spațiul Imaginii | Monitorizarea respectării distanței de siguranță între utilaje industriale și pietoni în fabrici. |
| Recunoașterea Acțiunilor Umane prin Ferestre Temporale de Posturi | Diferențierea acțiunilor dinamice: mers, alergare, așezat pe scaun, săritură sau gesturi de alertă. |
| Urmărire Video în Timp Real | |
| Conceptele Fundamentale ale Urmăririi Multi-Obiect (MOT) | Rezolvarea problemei de asociere a datelor: cum știe sistemul că mașina din cadrul 2 este aceeași cu mașina din cadrul 1. |
| Algoritmul ByteTrack: Asocierea Casetelor cu Încredere Redusă | Inovația de a nu arunca detecțiile parțial ocluzate, ci de a le folosi pentru a menține traiectoria continuă. |
| BoT-SORT: Compensarea Mișcării Camerei și Trăsături Vizuale ReID | Urmărirea stabilă pe videoclipuri filmate din mână sau din drone în mișcare prin algoritmul GMC. |
| Rularea Modului Nativ de Tracking în Ultralytics | Activarea urmăririi automate dintr-o singură linie de cod cu generarea ID-urilor persistente. |
| Re-Identificarea Persoanelor (Person ReID) prin Vectori de Aspect | Regăsirea aceleiași persoane atunci când trece dintr-o cameră video în alta fără câmp vizual comun. |
| Monitorizarea Ocupării Zonelor Poligonale (Zone Occupancy) | Verificarea prezenței în perimetre de securitate cu geometrie neregulată folosind biblioteca Supervision. |
| Numărarea Obiectelor la Trecerea peste o Linie Virtuală (Line Counter) | Înregistrarea vehiculelor și persoanelor care traversează un segment delimitat în spațiul 2D. |
| Netezirea Traiectoriilor cu Filtrul Kalman | Eliminarea tremurului milimetric al casetelor și anticiparea poziției viitoare a obiectului în caz de pierdere a semnalului. |
| Recuperarea Identității după Ocluziuni Prelungite (Lost Tracks) | Gestionarea stărilor temporare ‘Lost’ pentru a nu genera ID-uri noi atunci când obiectele reapar după câteva secunde. |
| Exportul Videoclipurilor Adnotate cu Trasee Colorate (Traces) | Randarea liniilor ‘coadă de cometă’ care evidențiază drumul parcurs de fiecare obiect în ultimele 50 de cadre. |
| Recunoaștere Textuală & OCR Modern | |
| Evoluția OCR: de la Tesseract la Modele Profunde Transformer | Înțelegerea saltului tehnologic care a făcut posibilă citirea textului din natură (Scene Text Recognition). |
| Recunoaștere Textuală cu EasyOCR în Python | Configurarea rapidă a bibliotecii EasyOCR cu suport nativ pentru diacritice românești (ș, ț, ă, î, â). |
| PaddleOCR: Motorul OCR de Mare Viteză cu Suport pentru Tabele | Biblioteca de referință open-source dezvoltată de Baidu pentru recunoaștere în peste 80 de limbi cu consum redus de memorie. |
| Recunoașterea Scrisului de Mână (HTR – Handwritten Text) | Utilizarea modelului TrOCR de la Microsoft pentru decodarea textelor olografe dificile. |
| Extragerea Datelor Structurate din Bonuri și Facturi | Automatizarea procesării contabile prin maparea textelor detectate pe câmpuri de date financiare. |
| Recunoașterea Automată a Numerelor de Înmatriculare (ANPR / ALPR) | Sistemul complet de identificare a vehiculelor la barierele de acces și în parcările inteligente. |
| Corectarea Perspectivei și Rotației Documentelor (Deskewing) | Transformarea unei fotografii făcute cu telefonul dintr-un unghi strâmb într-un document dreptunghiular plat. |
| Gruparea Spațială a Cuvintelor în Linii și Paragrafe Coerente | Reconstituirea ordinii firești de lectură (stânga-dreapta, sus-jos) din casetele disparate returnate de OCR. |
| Decodarea Codurilor de Bare 1D și a Codurilor QR 2D | Citirea instantanee a codurilor EAN-13, UPC, Code 128 și QR direct din fluxuri video industriale. |
| Corectarea Erorilor Frecvente de OCR prin Fuzzy Matching | Rezolvarea confuziilor tipice între cifre și litere (ex: cifra ‘0’ citită ca litera ‘O’, ‘5’ ca ‘S’). |
| Modele Vision-Language & Zero-Shot Detection | |
| Microsoft Florence-2: Modelul Vizual Universal Compact | Modelul multimodal compact (0.23B / 0.77B parametri) capabil să rezolve zeci de sarcini vizuale cu latență minimă. |
| Task-urile și Comenzile Structurate în Florence-2 | Ghidul comenzilor native prin care Florence-2 comută între detectare, segmentare și descriere textuală. |
| Arhitectura Modelelor Vision-Language (VLM) | Cum unifică modelele multimodale reprezentările vizuale cu raționamentul lingvistic profund. |
| Modelul Qwen2-VL: Înțelegere Vizuală la Rezoluții Dinamice | Modelul multimodal de clasă mondială capabil să proceseze imagini la raportul lor nativ de aspect și secvențe video. |
| Grounding DINO: Detectarea Obiectelor din Vocabular Deschis | Detectarea oricărui concept din lume descris în limbaj natural fără a fi nevoie de re-antrenarea rețelei. |
| Răspunsul la Întrebări pe Imagini (VQA – Visual Question Answering) | Interogarea asistenților de viziune pentru raționamente complexe pe imagini tehnice sau diagrame. |
| Clasificarea Imaginilor Zero-Shot cu OpenAI CLIP | Maparea imaginilor și a textului în același spațiu vectorial comun pentru căutare și clasificare semantică. |
| Raționamentul Spațial și Relațiile Vizuale în Modelele VLM | Înțelegerea relațiilor de proximitate, orientare și adâncime (deasupra, sub, în spatele, alături). |
| Extragerea Datelor Structurate din Imagini în Format JSON | Conversia directă a fotografiilor de buletine, pașapoarte sau etichete alimentare în dicționare JSON validate. |
| Analiza Fluxurilor Video Lungi cu Modele Multimodale | Identificarea momentelor cheie într-un videoclip de o oră (‘La ce minut s-a produs accidentul?’). |
| Estimare de Adâncime 3D & Reconstrucție | |
| Estimarea Adâncimii Monoculare: din 2D în 3D dintr-o Singură Imagine | Deducerea distanței până la fiecare pixel fără senzori scumpi LiDAR sau camere stereoscopice. |
| Vizualizarea Hărților de Adâncime cu Hărți de Culoare (Colormaps) | Transformarea matricei numerice de distanțe într-o reprezentare vizuală intuitivă pentru ochiul uman. |
| Modelul Depth Anything V2: Precizie Record și Margini Fine | Modelul open-source de top dezvoltat de TikTok / ByteDance antrenat pe 62 de milioane de imagini sintetice și reale. |
| Generarea Norilor de Puncte 3D (Point Clouds) cu Open3D | Proiectarea pixelilor 2D colorați în spațiul tridimensional tridimensional (X, Y, Z) pentru explorare CAD. |
| Matricea Intrinsecă a Camerei (K Matrix) și Calibrarea | Parametrii optici ai lentilei: distanța focală (fx, fy), centrul optic (cx, cy) și corecția distorsiunilor radiale. |
| Casete de Delimitare 3D (3D Bounding Boxes) pentru Robotică | Localizarea obiectelor fizice în metri reali în jurul unui robot sau al unei mașini autonome. |
| Viziunea Stereoscopică: Calculul Disparității din Camere Duble | Principiul vederii umane binoculare: calculul adâncimii pe baza diferenței de deplasare dintre două imagini paralele. |
| Separarea Planurilor Vizuale pe Baza Adâncimii | Izolarea obiectelor aflate la o anumită distanță precisă de cameră, ignorând tot ce se află în spatele lor. |
| Crearea Efectului Artistic Bokeh și a Adâncimii de Câmp | Simularea lentilelor scumpe DSLR cu diafragmă deschisă (f/1.4) pe fotografii făcute cu camere simple de smartphone. |
| Utilizarea Hărților de Adâncime pentru Navigarea Autonomă a Roboților | Ghidarea roboților mobili în depozite logistice pentru a evita coliziunea cu paleți sau pereți. |
| Optimizare, Cuantizare & Deployment Edge | |
| Exportul Modelelor YOLO în Format Universal ONNX | Conversia modelelor PyTorch într-un graf computațional portabil capabil să ruleze pe orice sistem de operare și hardware. |
| Accelerarea Inferenței prin NVIDIA TensorRT (.engine) | Compilarea modelului pentru arhitectura exactă a plăcii grafice NVIDIA (Ampere, Ada Lovelace, Hopper). |
| Cuantizarea Modelelor de Viziune în Formatele FP16 și INT8 | Trecerea de la numere pe 32 de biți la numere întregi pe 8 biți pentru viteză de 3x mai mare cu pierdere de sub 1% mAP. |
| Exportul în Format Apple CoreML pentru iPhone, iPad și Mac | Optimizarea pentru Apple Neural Engine (ANE) pentru rulare în aplicații native Swift pe iOS și macOS. |
| Optimizarea pentru Procesoare Intel cu OpenVINO | Rularea ultra-rapidă pe plăci de bază fără GPU dedicat folosind extensiile AVX-512 și grafica integrată Intel Iris Xe. |
| Găzduirea Enterprise pe NVIDIA Triton Inference Server | Servirea zecilor de modele de viziune simultan cu alocare dinamică a GPU-urilor și protocoale gRPC de mare viteză. |
| Conversia în TensorFlow Lite (TFLite) pentru Android și IoT | Rularea pe telefoane Android, plăci Raspberry Pi și microcontrollere edge cu biblioteci C++ minuscule. |
| Arhitectura Conductelor NVIDIA DeepStream pentru Zeci de Camere | Procesarea a peste 30 de fluxuri video 1080p simultan pe o singură placă grafică fără a atinge memoria CPU. |
| Server FastAPI de Streaming Video Adnotat prin MJPEG și WebRTC | Transmiterea fluxului video procesat cu casete și etichete către pagini web și tablouri de bord. |
| Ghid de Implementare pe Dispozitive Edge NVIDIA Jetson | Configurarea mediului JetPack, montarea ventilatoarelor, gestionarea temperaturii și pornirea serviciilor systemd la boot. |
Discuții, Întrebări & Coduri / Prompturi Învață Computer Vision: YOLO, Segment Anything & Viziune Computațională
Ai o nelămurire despre modulul Învață Computer Vision: YOLO, Segment Anything & Viziune Computațională, cauți o soluție sau vrei să împărtășești un prompt sau fragment util de cod? Trimite mai jos contribuția ta.
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.