MLflow oferă suport complet pentru LLMOps, permițând echipelor de dezvoltare să versioneze șabloanele de prompturi (prompt templates), să compare calitatea diferiților furnizori de modele și să execute suite complete de evaluare cu un singur apel API.
import mlflow
mlflow.set_tracking_uri("http://localhost:5000")
mlflow.set_experiment("Asistent-Juridic-v2")
with mlflow.start_run():
# Înregistrare parametri de inferență și prompt
mlflow.log_param("model", "meta-llama-3-70b")
mlflow.log_param("temperature", 0.2)
mlflow.log_text("Ești un expert în drept civil...", "prompt_template.txt")
# Evaluare automată pe un dataset de testare
results = mlflow.evaluate(
model=my_model_uri,
data=eval_dataset,
model_type="text",
evaluators="default"
)
print("Scor de exactitate factuală:", results.metrics["toxicity/v1/score"])Tabloul de bord MLflow permite compararea vizuală a două rulări paralele pentru a detecta degradări de performanță înainte de lansarea în producție.
Întrebări & Exemple practice:
MLflow LLM Tracking: Monitorizarea Prompturilor, Versiunilor și Model EvaluationAi o întrebare despre MLflow LLM Tracking: Monitorizarea Prompturilor, Versiunilor și Model Evaluation sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.