Parametrii -b (batch size) și -ub (micro-batch size) controlează câți tokeni trimite llama.cpp simultan către placa grafică în timpul procesării promptului inițial:
# Valoare recomandată pe GPU modern: 512 sau 2048 tokeni per lot
./build/bin/llama-cli -m model.gguf -b 2048 -ub 512 -ngl 99O valoare mai mare crește viteza de citire a documentelor lungi (peste 1.000 tokeni/secundă pe faza de pre-fill pe un RTX 4090).
Întrebări & Exemple practice:
Reglarea Dimensiunii Lotului Fizic de Calcul (-b & -ub)Ai o întrebare despre Reglarea Dimensiunii Lotului Fizic de Calcul (-b & -ub) sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.