Ce este Llama Guard și Clasificarea Automată a Conținutului Toxic și Ilegal?

Denumire completă

LlamaGuard.predict(role='user', content=input_prompt) -> safe / unsafe [hazard_categories]

Llama Guard (dezvoltat de Meta) este un model deschis specializat antrenat exclusiv pentru a funcționa ca arbitru de securitate. Analizează instrucțiunile primite și răspunsurile generate, clasificându-le instantaneu ca sigure sau periculoase pe baza unei taxonomii clare de riscuri.

# Clasificarea automată a siguranței unui prompt:
from transformers import AutoTokenizer, AutoModelForCausalLM

model_id = "meta-llama/Llama-Guard-3-8B"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id)

rezultat = model.generate(tokenizer.apply_chat_template([{"role": "user", "content": prompt}]))
# Răspuns determinist:
# 'unsafe\nS1' (S1 = Conținut periculos de tip violență/arme) sau 'safe'

Integrare în producție: Oferă o linie de apărare ieftină și rapidă care filtrează cererile toxice înainte de a ajunge la modelul principal scump.

Învață AI • Comunitate & Q&A

Întrebări & Discuții: Llama Guard și Clasificarea Automată a Conținutului Toxic și Ilegal

Ai o întrebare despre Llama Guard și Clasificarea Automată a Conținutului Toxic și Ilegal sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!

🤖

Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!

Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.

Comunitate AI Adaugă o întrebare sau distribuie un cod / prompt

Moderare & Siguranță:

Pentru a menține calitatea și securitatea informațiilor, fiecare întrebare sau fragment de cod/prompt este analizat (manual sau prin moderare asistată de AI) înainte de publicare.