Finetuning-ul modelelor de embedding presupune ajustarea unui model pre-antrenat (ex: BGE, E5 sau RoBERTa) pe perechi de întrebări și pasaje specifice domeniului organizației (medical, juridic, financiar), folosind funcții de pierdere precum Multiple Negatives Ranking Loss sau Matryoshka Embeddings.
from sentence_transformers import SentenceTransformer, InputExample, losses
from torch.utils.data import DataLoader
model = SentenceTransformer('BAAI/bge-small-en-v1.5')
train_examples = [
InputExample(texts=['Ce este o clauză penală?', 'Clauza penală reprezintă o evaluare anticipată...']),
InputExample(texts=['Termen de prescripție extinctivă', 'Dreptul la acțiune se prescrie în termen de 3 ani...'])
]
train_dataloader = DataLoader(train_examples, shuffle=True, batch_size=16)
train_loss = losses.MultipleNegativesRankingLoss(model)
model.fit(train_objectives=[(train_dataloader, train_loss)], epochs=3)Impact: Mărește dramatic acuratețea căutării în domenii cu terminologie tehnică ultra-specializată.
Întrebări & Discuții: Finetuning de Modele de Embedding: Adaptarea la Vocabularul Domeniului
Ai o întrebare despre Finetuning de Modele de Embedding: Adaptarea la Vocabularul Domeniului sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.