Multi-Modal RAG permite căutarea și sintetizarea răspunsurilor peste documente bogate vizual (prezentări PowerPoint, fișiere PDF cu grafice și diagrame, manuale de service cu scheme tehnice), utilizând modele multimodale precum CLIP, SigLIP sau ColPali.
# ColPali: Late Interaction direct peste imaginile paginilor PDF:
from colpali_engine.models import ColPali
from PIL import Image
model = ColPali.from_pretrained("vidore/colpali-v1.2")
# Vectorizarea directă a paginii ca imagine (păstrează tabelele și layout-ul):
pagina_pdf = Image.open("manual_tehnic_pagina_12.png")
embedding_pagina = model.embed_images([pagina_pdf])
# Interogarea în limbaj natural:
embedding_query = model.embed_queries(["Care este schema circuitului de alimentare?"])Fără pierdere de informație: Evită extragerea textului prin OCR imperfect prin reprezentarea directă a geometriei vizuale a paginii.
Întrebări & Discuții: Multi-Modal RAG: Indexarea și Căutarea Simultană de Text, Imagini și Tabele
Ai o întrebare despre Multi-Modal RAG: Indexarea și Căutarea Simultană de Text, Imagini și Tabele sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.