Format / Sintaxă: Semantic Router – comutator ultra-rapid bazat pe vectori care direcționează întrebarea către modulul adecvat fără LLM scump
Explicație detaliată
Trimiterea fiecărui mesaj printr-un model mare de limbaj doar pentru a afla dacă utilizatorul vrea suport tehnic, vânzări sau doar spune „bună ziua” este lentă și extrem de scumpă.
Un Semantic Router compară vectorul întrebării cu grupuri predefinite de intenții și ia decizia de direcționare în mai puțin de 5 milisecunde, economisind bani și timp de procesare.
Analogie intuitivă
💡 Triajul de la camera de gardă a unui spital: o asistentă experimentată măsoară tensiunea și trimite instant pacientul la cardiologie, ortopedie sau la farmacie, fără să aștepte consultul șefului de secție.
Mecanism & Funcționare
- Fiecare rută are o listă de exemple reprezentative convertite în vectori medii (centorizi).
- Întrebarea primită este vectorizată și asociată celei mai apropiate rute prin cosinus de similaritate.
Exemple practice și aplicabilitate
- Ruta „smalltalk” -> Răspuns șablonat instantaneu fără apelare LLM.
- Ruta „facturare” -> Direcționare directă către baza de date SQL de plăți.
- Ruta „tehnic” -> Activare modul complet Agentic RAG.
Capcane frecvente & bune practici
Poate reduce factura API a unei companii cu 30-50% prin eliminarea apelurilor inutile către modele mari.
Noțiuni înrudite
vector-database: Noțiune asociată din acest modul.agent-autonom: Noțiune asociată din acest modul.agentic-rag: Noțiune asociată din acest modul.