mlflow.evaluate() include evaluatori standard pentru sarcini generative (rezumare, Q&A, traducere), calculând automat scoruri ROUGE, BLEU, similaritate de embedding și toxicitate.
Exemplu de înregistrare experiment
import mlflow
with mlflow.start_run(run_name="evaluare_prompt_v2"):
eval_results = mlflow.evaluate(
model=model_pipeline,
data=dataset_test,
model_type="question-answering",
evaluators="default"
)
print("Metrice calculate:", eval_results.metrics)Toate diagramele comparative sunt stocate în registrul oficial MLflow Model Registry.
Întrebări & Exemple practice:
Funcția mlflow.evaluate pentru LLM-uri: Urmărirea Calității pe Versiuni de ModeleAi o întrebare despre Funcția mlflow.evaluate pentru LLM-uri: Urmărirea Calității pe Versiuni de Modele sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.