În mod tradițional, înțelegerea vizuală și generarea de imagini sunt tratate de arhitecturi complet diferite (Transformatoare multimodale pentru text vs Modele de Difuzie pentru imagini). Janus-Pro unifică ambele capacități într-un singur model autoregresiv:
# Generare imagine și analiză text în același framework
from janus.models import MultiModalityCausalLM
model = MultiModalityCausalLM.from_pretrained("deepseek-ai/Janus-Pro-7B")
# Poate primi o descriere și genera o imagine pe baza de tokeni vizuali VQ-VAE,
# sau poate primi o imagine și răspunde la întrebări complexe!Janus-Pro decuplează encoderele vizuale pentru a preveni coliziunea caracteristicilor între sarcina de recunoaștere și cea de creație grafică.
Întrebări & Exemple practice:
Janus-Pro: Arhitectura Unificată pentru Înțelegere și Generare VizualăAi o întrebare despre Janus-Pro: Arhitectura Unificată pentru Înțelegere și Generare Vizuală sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.