Eliminarea obiectelor din video (video inpainting) cu SAM și ProPainter în AI Audio & Video

SAM 2 / SAM 3 (mască urmărită în video) -> ProPainter (--video, --mask) -> video fără obiect

Fluxul are doi pași. Întâi obții o mască a obiectului în fiecare cadru. SAM 2 (Meta, iulie 2024; checkpoint-urile SAM 2.1 din septembrie 2024) segmentează un obiect pornind de la clicuri sau casete și urmărește masca prin video. SAM 3 segmentează și urmărește obiecte din imagini și video pe baza unor prompturi text sau vizuale; checkpoint-urile SAM 3.1 au apărut pe 27 martie 2026.

Apoi ProPainter completează zona mascată folosind informație din cadrele vecine și din cadre de referință globale, cu flux optic. Are și mod de outpainting (extinderea cadrului). Licența NTU S-Lab 1.0 permite doar utilizare necomercială.

Pentru clipuri lungi sau GPU-uri cu memorie puțină, ProPainter împarte video-ul în sub-video-uri (--subvideo_length, implicit 80 de cadre) și poate rula în --fp16. Masca este dilatată implicit cu 4 pixeli (--mask_dilation), ca să acopere marginile obiectului.

Concepte cheie și caracteristici

Concept / Parametru	Descriere practică
--video / --mask	Video-ul (fișier sau folder de cadre) și masca (sau folderul de măști).
--output	Folderul de ieșire; implicit results.
--subvideo_length	Lungimea sub-video-urilor; implicit 80. Mai mic înseamnă mai puțină memorie.
--neighbor_length / --ref_stride	Cadre vecine locale (implicit 10) și pasul cadrelor de referință globale (implicit 10).
--fp16	Inferență în semi-precizie, cu memorie mai puțină.
--mask_dilation	Dilatarea măștii; implicit 4.

Exemple practice și scenarii reale

Exemplul 1: Eliminarea unui obiect cu ProPainter

Masca vine dintr-un model de segmentare (de exemplu SAM 2) exportată ca folder de imagini.

python inference_propainter.py \
  --video scena_dialog.mp4 \
  --mask masca_microfon/ \
  --output rezultate \
  --fp16 --subvideo_length 50

Exemplul 2: Rezoluție redusă pentru GPU cu memorie puțină

python inference_propainter.py --video intrare.mp4 --mask masca.png --height 320 --width 576 --fp16

Greșeli frecvente și capcane

• Faci o mască prea strânsă. Umbrele și reflexiile obiectului rămân în cadru; mărește --mask_dilation sau masca.
• Rulezi pe clipuri lungi la rezoluție completă și primești erori de memorie. Folosește --fp16, --subvideo_length mai mic sau --resize_ratio.
• Folosești ProPainter într-un produs comercial. Licența NTU S-Lab 1.0 este necomercială.

Noțiuni și module înrudite

• lip-sync-liveportrait
• motion-brush-video
• camera-controls-pan-zoom
• video-gen-hailuo-kling