Argumentele vllm serve (referință completă) în vLLM & Infrastructură LLM

vllm serve [MODEL] [--ARGUMENT VALOARE ...]
vllm serve --help=all | --help=GRUP | --help=ARGUMENT | --help=CUVÂNT

Ce face Argumentele vllm serve (referință completă)

Tabelul reproduce pagina oficială vllm serve pentru vLLM 0.32.0, în aceeași ordine: opțiunile generale, apoi grupurile Frontend, ModelConfig, LoadConfig, AttentionConfig, MambaConfig, StructuredOutputsConfig, ParallelConfig, CacheConfig, OffloadConfig, MultiModalConfig, LoRAConfig, LoggingConfig, ObservabilityConfig, SchedulerConfig, CompilationConfig, KernelConfig și VllmConfig. Rândurile între paranteze drepte marchează începutul unui grup.

Grupurile în afară de general și Frontend sunt argumentele de engine: aceleași nume (cu _ în loc de -) se dau clasei Python LLM, iar vllm run-batch, vllm preload și vllm bench latency / throughput le acceptă și ele. Opțiunile booleene au forma negată --no-.... Pentru un grup sau un singur argument folosești vllm serve --help=ModelConfig sau vllm serve --help=max-num-seqs; --help=max caută după cuvânt.

Argumentele de tip număr întreg marcate în tabel acceptă sufixe: 1k = 1.000, 1K = 1.024, 1m = 1.000.000, 1M = 1.048.576, 1g / 1G, 1t / 1T. Sufixele zecimale acceptă și fracții (25.6k = 25.600), cele binare doar întregi. Argumentele JSON se pot da întregi sau pe chei cu punct (--compilation-config.mode 3). Toate argumentele cu nume lung se pot pune și într-un fișier YAML citit cu --config.

Sintaxă și opțiuni

Opțiune / Parametru	Descriere
[general]	Opțiuni generale ale serverului (fără grup în documentație).
--headless	Pornește în mod headless (fără server API), pentru data parallel pe mai multe noduri. Implicit: False.
--api-server-count, -asc	Câte procese de server API pornesc. Implicit egal cu data_parallel_size.
--config	Citește opțiunile dintr-un fișier YAML (numele lungi ale argumentelor). Argumentele din linia de comandă au prioritate.
--grpc	Pornește serverul gRPC Python pe --port în locul serverului HTTP. Cere pip install vllm[grpc]; nu se combină cu --grpc-port. Implicit: False.
--disable-log-stats	Dezactivează jurnalizarea statisticilor. Implicit: False.
--aggregate-engine-logging	La data parallel, jurnalizează statistici agregate în loc de statistici pe fiecare engine. Implicit: False.
--fail-on-environ-validation, --no-fail-on-environ-validation	Oprește engine-ul cu eroare dacă validarea mediului eșuează. Implicit: False.
--shutdown-timeout	Timpul de oprire în secunde: 0 abandonează imediat, peste 0 așteaptă. Implicit: 0.
--gdn-prefill-backend	Backend-ul pentru prefill GDN. Valori: flashinfer, triton, cutedsl, aiter_flydsl.
--kda-prefill-backend	Backend-ul pentru prefill KDA. flashkda doar pe CUDA, fused doar pe ROCm. Valori: auto, triton, flashkda, flashinfer, fused.
--kda-decode-backend	Backend-ul pentru decode KDA. Valori: auto, native, flashinfer, triton.
--enable-log-requests, --no-enable-log-requests	Jurnalizează cererile: la INFO ID, parametri și LoRA; la DEBUG și intrările (text, token IDs). Nivelul se alege cu VLLM_LOGGING_LEVEL. Implicit: False.
[Frontend]	Frontend: serverul HTTP compatibil OpenAI (rețea, securitate, chat template, unelte, jurnale).
--lora-modules	Adaptoare LoRA servite: nume=cale sau JSON {"name": ..., "path": ..., "base_model_name": ...}.
--chat-template	Fișierul chat template sau șablonul pe un singur rând.
--chat-template-content-format	Cum se transmite conținutul mesajelor în șablon: string (text) sau openai (listă de dicționare). Valori: auto, openai, string. Implicit: auto.
--trust-request-chat-template, --no-trust-request-chat-template	Acceptă chat template-ul trimis în cerere. Altfel se folosește doar --chat-template sau cel din tokenizer. Implicit: False.
--trust-request-mm-kwargs, --no-trust-request-mm-kwargs	Acceptă mm_processor_kwargs și media_io_kwargs din cereri. Activează doar pentru clienți de încredere. Implicit: False.
--default-chat-template-kwargs	Argumente implicite pentru chat template (de exemplu {"enable_thinking": false}); valorile din cerere au prioritate.
--response-role	Rolul returnat când add_generation_prompt=true. Implicit: assistant.
--return-tokens-as-token-ids, --no-return-tokens-as-token-ids	Cu --max-logprobs, reprezintă tokenii ca token_id:{token_id}. Implicit: False.
--enable-auto-tool-choice, --no-enable-auto-tool-choice	Activează alegerea automată a uneltelor (tool calling). Cere --tool-call-parser. Implicit: False.
--exclude-tools-when-tool-choice-none, --no-exclude-tools-when-tool-choice-none	Nu include definițiile uneltelor în prompt când tool_choice='none'. Implicit: False.
--tool-call-parser	Parserul care transformă apelurile de unelte ale modelului în format OpenAI. Obligatoriu pentru --enable-auto-tool-choice.
--tool-parser-plugin	Plugin cu un parser propriu de unelte, folosibil apoi în --tool-call-parser. Implicit: "".
--tool-strict-level	Nivelul minim de constrângere pentru tool calling: auto, function sau parameter. Valori: auto, function, parameter. Implicit: auto.
--tool-server	Servere de unelte host:port separate prin virgulă, sau demo (browser și interpretor Python; codul rulează în Docker fără izolare de rețea).
--max-log-len	Numărul maxim de caractere sau ID-uri de prompt afișate în jurnal (implicit nelimitat).
--enable-prompt-tokens-details, --no-enable-prompt-tokens-details	Include prompt_tokens_details în usage. Implicit: False.
--enable-per-request-metrics, --no-enable-per-request-metrics	Include metrici de timp pe cerere în răspunsuri. Implicit: False.
--enable-server-load-tracking, --no-enable-server-load-tracking	Urmărește server_load_metrics în starea aplicației. Implicit: False.
--enable-force-include-usage, --no-enable-force-include-usage	Include usage în fiecare răspuns. Implicit: False.
--sse-keep-alive-interval	Trimite un comentariu SSE keep-alive la acest interval (secunde) când un stream este inactiv; 0 dezactivează. Implicit: 0.
--enable-tokenizer-info-endpoint, --no-enable-tokenizer-info-endpoint	Activează endpoint-ul /tokenizer_info (poate expune chat template-ul). Implicit: False.
--enable-log-outputs, --no-enable-log-outputs	Jurnalizează și răspunsurile generate. Cere --enable-log-requests. Implicit: False.
--enable-log-deltas, --no-enable-log-deltas	Jurnalizează fragmentele de stream; contează doar cu --enable-log-outputs. Implicit: True.
--cohere-is-reasoning-model, --no-cohere-is-reasoning-model	Doar /cohere/v2/chat: modelul servit este un model Command cu raționament. Implicit: True.
--cohere-format	Doar cu --tokenizer-mode cohere: formatul de prompt cmd4 sau cmd3. Implicit: cmd4.
--anthropic-disabled-thinking-effort	Doar /v1/messages: reasoning_effort folosit când cererea are thinking: {"type": "disabled"}. Valori: auto, high, low, max, medium, none, xhigh. Implicit: auto.
--log-error-stack, --no-log-error-stack	Jurnalizează stack trace-ul răspunsurilor de eroare. Implicit: False.
--tokens-only, --no-tokens-only	Activează doar endpoint-ul Tokens In/Out (configurații dezagregate). Implicit: False.
--enable-scale-out, --no-enable-scale-out	Înregistrează endpoint-urile /render, /derender, /inference/v1/generate și /inference/v1/abort_requests. Implicit: False.
--fingerprint-mode	Conținutul câmpului system_fingerprint din răspunsuri: full, hash, custom sau none. Valori: custom, full, hash, none. Implicit: full.
--fingerprint-value	Textul folosit când --fingerprint-mode=custom.
--host	Numele sau adresa pe care ascultă serverul.
--port	Portul serverului. Implicit: 8000.
--grpc-port	Pornește serviciile gRPC ale frontend-ului Rust pe acest port. Cere VLLM_USE_RUST_FRONTEND=1; HTTP rămâne pe --port.
--data-parallel-supervisor-port	Portul HTTP pentru health check agregat în modul external LB cu mai multe porturi. Implicit: 9256.
--dp-supervisor-probe-interval-s	Secunde între verificările de sănătate agregate (external LB cu mai multe porturi). Implicit: 5.0.
--dp-supervisor-probe-timeout-s	Secunde de așteptare între reîncercări când o verificare eșuează cu eroare de conexiune. Implicit: 5.0.
--dp-supervisor-probe-failure-threshold	Reîncercări consecutive după care o verificare este declarată eșuată. Implicit: 3.
--uds	Calea unui Unix domain socket. Dacă este setată, --host și --port sunt ignorate.
--uvicorn-log-level	Nivelul de jurnalizare uvicorn. Valori: critical, debug, error, info, trace, warning. Implicit: info.
--disable-uvicorn-access-log, --no-disable-uvicorn-access-log	Dezactivează jurnalul de acces uvicorn. Implicit: False.
--disable-access-log-for-endpoints	Endpoint-uri excluse din jurnalul de acces, separate prin virgulă (de exemplu /health,/metrics,/ping).
--allow-credentials, --no-allow-credentials	Permite credențiale (CORS). Implicit: False.
--allowed-origins	Origini permise (CORS). Accesul din browser de pe alte origini este dezactivat implicit. Implicit: [].
--allowed-methods	Metode HTTP permise (CORS). Implicit: ['*'].
--allowed-headers	Antete permise (CORS). Implicit: ['*'].
--api-key	Una sau mai multe chei cerute în antet. Protejează doar /v1, /v2 și /inference; /invocations și alte endpoint-uri rămân neautentificate.
--ssl-keyfile	Fișierul cheii SSL.
--ssl-certfile	Fișierul certificatului SSL.
--ssl-ca-certs	Fișierul cu certificatele CA.
--enable-ssl-refresh, --no-enable-ssl-refresh	Reîncarcă contextul SSL când fișierele certificatelor se schimbă. Implicit: False.
--ssl-cert-reqs	Dacă este cerut certificat de client (valorile modulului ssl din Python). Implicit: 0.
--ssl-ciphers	Suitele de cifruri pentru HTTPS (doar TLS 1.2 și mai vechi).
--root-path	root_path FastAPI când serverul stă în spatele unui proxy cu rutare pe cale.
--middleware	Middleware ASGI suplimentar (cale de import); se poate repeta. Implicit: [].
--enable-request-id-headers, --no-enable-request-id-headers	Adaugă antetul X-Request-Id în răspunsuri. Implicit: False.
--disable-fastapi-docs, --no-disable-fastapi-docs	Dezactivează schema OpenAPI, Swagger UI și ReDoc. Implicit: False.
--h11-max-incomplete-event-size	Dimensiunea maximă (bytes) a unui eveniment HTTP incomplet pentru parserul h11. Implicit: 4194304 (4 MB).
--h11-max-header-count	Numărul maxim de antete HTTP într-o cerere (h11). Implicit: 256.
--enable-offline-docs, --no-enable-offline-docs	Documentație FastAPI offline, cu resurse incluse în vLLM (medii izolate). Implicit: False.
--enable-flash-late-interaction, --no-enable-flash-late-interaction	Calculează scorul MaxSim pe GPU în procesul serverului API (modele late-interaction). Implicit: True.
[ModelConfig]	ModelConfig: modelul, tokenizerul, precizia, contextul, cuantizarea.
--model	Numele sau calea modelului Hugging Face. La vllm serve se dă de obicei ca prim argument. Implicit: Qwen/Qwen3-0.6B.
--runner	Tipul de model runner; o instanță vLLM suportă unul singur. Valori: auto, draft, generate, pooling. Implicit: auto.
--convert	Convertește modelul cu adaptoare (de exemplu un model generativ folosit pentru pooling). Valori: auto, classify, embed, none. Implicit: auto.
--tokenizer	Numele sau calea tokenizerului. Implicit, cel al modelului.
--tokenizer-mode	Modul tokenizerului: auto folosește mistral_common pentru modele Mistral, altfel hf. Valori: auto, cohere, deepseek_v32, deepseek_v4, hf, inkling, kimi_k3, mistral. Implicit: auto.
--trust-remote-code, --no-trust-remote-code	Permite codul de la distanță (de exemplu din Hugging Face) la descărcarea modelului și tokenizerului. Implicit: False.
--dtype	Tipul de date pentru greutăți și activări. auto: FP16 pentru modele FP32/FP16, BF16 pentru modele BF16. half este recomandat pentru AWQ. Valori: auto, bfloat16, float, float16, float32, half. Implicit: auto.
--seed	Seed aleator pentru reproductibilitate. Implicit: 0.
--hf-config-path	Numele sau calea configurației Hugging Face. Implicit, cea a modelului.
--allowed-local-media-path	Permite cererilor să citească imagini sau video locale din directoarele date. Risc de securitate; doar în medii de încredere. Implicit: "".
--allowed-media-domains	Dacă este setat, doar URL-urile media din aceste domenii sunt acceptate.
--revision	Versiunea modelului: ramură, tag sau commit.
--code-revision	Versiunea codului modelului din Hugging Face Hub.
--tokenizer-revision	Versiunea tokenizerului din Hugging Face Hub.
--max-model-len	Lungimea contextului (prompt plus ieșire). Implicit din configurația modelului. Acceptă 1k, 1K, 25.6k; -1 sau auto alege cea mai mare lungime care încape în memoria GPU.
--quantization, -q	Metoda de cuantizare. Dacă lipsește, se citește quantization_config din configurația modelului.
--quantization-config	Configurația de cuantizare pe tipuri de straturi (linear, moe) și modele de ignorare; JSON sau chei cu punct.
--allow-deprecated-quantization, --no-allow-deprecated-quantization	Permite metodele de cuantizare depreciate. Implicit: False.
--enforce-eager, --no-enforce-eager	Rulează mereu în mod eager PyTorch: dezactivează CUDA graph și torch.compile (echivalent cu -cc.mode=none -cc.cudagraph_mode=none). Implicit: False.
--enable-return-routed-experts, --no-enable-return-routed-experts	Captează și returnează ieșirile auxiliare cu experții aleși (MoE). Implicit: False.
--return-sampling-mask, --no-return-sampling-mask	Returnează suportul de tokeni după post-procesare pentru fiecare eșantion. Implicit: False.
--max-logprobs	Numărul maxim de log-probabilități returnate; -1 fără limită (risc de OOM). Implicit: 20.
--logprobs-mode	Ce conțin logprobs: valori brute sau procesate, logprobs sau logits. Valori: processed_logits, processed_logprobs, raw_logits, raw_logprobs. Implicit: raw_logprobs.
--use-fp64-gumbel, --no-use-fp64-gumbel	Folosește zgomot FP64 în loc de FP32 la eșantionare (mai precis, mult mai lent). Implicit: False.
--enable-trace-replay, --no-enable-trace-replay	Permite cererilor să impună secvența de tokeni (trace_decode_token_ids); pentru depanare și RL. Implicit: False.
--disable-sliding-window, --no-disable-sliding-window	Dezactivează sliding window; contextul se limitează la dimensiunea ferestrei. Implicit: False.
--disable-cascade-attn, --no-disable-cascade-attn	Depreciat, fără efect (cascade attention a fost eliminat); va fi scos în v0.33.0.
--skip-tokenizer-init, --no-skip-tokenizer-init	Nu inițializează tokenizerul; intrarea trebuie să fie prompt_token_ids, ieșirea conține token IDs. Implicit: False.
--enable-prompt-embeds, --no-enable-prompt-embeds	Permite embeddings de text ca intrare (prompt_embeds). Doar pentru utilizatori de încredere. Implicit: False.
--served-model-name	Numele modelului în API; se pot da mai multe. Implicit, valoarea lui --model.
--config-format	Formatul configurației modelului: auto, hf sau mistral. Valori: auto, hf, mistral. Implicit: auto.
--hf-token	Tokenul pentru fișierele de la distanță. True folosește tokenul salvat de hf auth login.
--hf-overrides	Valori transmise configurației Hugging Face (dicționar). Implicit: {}.
--model-class-overrides	Înlocuiește clasa de model pentru o arhitectură ("module:class"). Pentru dezvoltare. Implicit: {}.
--pooler-config	Configurația pooler-ului pentru modelele de pooling (JSON).
--generation-config	Unde se caută generation config: auto (din model), vllm (valorile vLLM) sau un director. Implicit: auto.
--override-generation-config	Suprascrie generation config, de exemplu {"temperature": 0.5}. Implicit: {}.
--enable-sleep-mode, --no-enable-sleep-mode	Activează sleep mode (doar CUDA și HIP). Implicit: False.
--sleep-mode-offload-cudagraph, --no-sleep-mode-offload-cudagraph	În sleep mode, salvează memoria CUDA graph în CPU și o restaurează la trezire. Implicit: False.
--sleep-preserve-parameter-names	Modele de nume de parametri păstrați în sleep de nivel 2. Implicit: [].
--enable-cumem-allocator, --no-enable-cumem-allocator	Alocatorul cumem (de exemplu NVLink multi-nod). Sleep mode îl activează automat. Doar CUDA și HIP. Implicit: False.
--enable-nccl-comm-suspend, --no-enable-nccl-comm-suspend	Eliberează memoria comunicatorilor NCCL în sleep mode. Experimental. Implicit: False.
--model-impl	Implementarea modelului: auto (vLLM, cu rezervă Transformers), vllm, transformers, terratorch. Valori: auto, terratorch, transformers, vllm. Implicit: auto.
--logits-processors	Procesoare de logits (nume complete de clase).
--io-processor-plugin	Pluginul IOProcessor încărcat la pornire.
--renderer-num-workers	Firele din pool-ul renderer-ului (tokenizare, chat template, preprocesare multimodală). Implicit: 1.
[LoadConfig]	LoadConfig: încărcarea greutăților.
--load-format	Formatul greutăților: auto, pt, safetensors, instanttensor, ipc_cache (după vllm preload), npcache, dummy, tensorizer, runai_streamer, runai_streamer_sharded, sharded_state, mistral, modelexpress sau valori din pluginuri. Implicit: auto.
--download-dir	Directorul de descărcare și încărcare a greutăților. Implicit, cache-ul Hugging Face.
--safetensors-load-strategy	Strategia de încărcare safetensors: implicit memory-mapped (cu prefetch automat pe NFS), lazy, eager (recomandat pe sisteme de fișiere de rețea), prefetch, torchao. Valori: eager, lazy, prefetch, torchao, None.
--safetensors-prefetch-num-threads	Firele care citesc fișierele în page cache când prefetch-ul este activ. Implicit: 8.
--safetensors-prefetch-block-size	Dimensiunea citirii (bytes) la prefetch. Acceptă 1k, 2M etc. Implicit: 16777216.
--model-loader-extra-config	Configurație suplimentară pentru loader-ul ales prin --load-format. Implicit: {}.
--ignore-patterns	Modele de fișiere ignorate la încărcare. Implicit: ['original/**/*'].
--use-tqdm-on-load, --no-use-tqdm-on-load	Afișează bara de progres la încărcarea greutăților. Implicit: True.
--pt-load-map-location	map_location la încărcarea checkpoint-urilor PyTorch (de exemplu cuda). Implicit: cpu.
[AttentionConfig]	AttentionConfig: mecanismul de atenție.
--attention-backend	Backend-ul de atenție (de exemplu FLASH_ATTN, FLASHINFER). auto sau nimic: selecție automată.
[MambaConfig]	MambaConfig: backend-urile pentru modelele SSM Mamba.
--mamba-backend	Backend-ul SSU pentru Mamba. Implicit: MambaBackendEnum.TRITON.
--mamba-ssu-algorithm	Algoritmul selective state update cu backend-ul FlashInfer. Valori: auto, horizontal, simple, vertical, None.
--enable-mamba-cache-stochastic-rounding, --no-enable-mamba-cache-stochastic-rounding	Rotunjire stocastică la scrierea stării SSM în cache fp16. Implicit: False.
--mamba-cache-philox-rounds	Rundele Philox pentru rotunjirea stocastică; 0 folosește valoarea Triton. Implicit: 0.
[StructuredOutputsConfig]	StructuredOutputsConfig: parserul de raționament. Backend-ul pentru structured outputs se setează cu --structured-outputs-config (grupul VllmConfig).
--reasoning-parser	Parserul care extrage raționamentul modelului în formatul API OpenAI (de exemplu deepseek_r1). Implicit: "".
--reasoning-parser-plugin	Calea unui plugin cu un parser de raționament propriu. Implicit: "".
[ParallelConfig]	ParallelConfig: execuția distribuită (TP, PP, DP, EP, context parallel, mai multe noduri).
--distributed-executor-backend	Backend-ul pentru workerii distribuiți: mp (multiprocessing), ray, uni, external_launcher. Valori: external_launcher, mp, ray, uni.
--pipeline-parallel-size, -pp	Numărul de grupuri pipeline parallel (straturile modelului împărțite pe GPU-uri sau noduri). Implicit: 1.
--master-addr	Adresa master pentru mai multe noduri cu backend-ul mp. Implicit: 127.0.0.1.
--master-port	Portul master pentru mai multe noduri cu backend-ul mp. Implicit: 29501.
--nnodes, -n	Numărul de noduri (backend mp). Implicit: 1.
--node-rank, -r	Rangul nodului curent (backend mp). Implicit: 0.
--distributed-timeout-seconds	Timeout pentru operațiile distribuite (init_process_group). Implicit cel din PyTorch (600 s pentru NCCL).
--cpu-distributed-timeout-seconds	Timeout pentru grupurile de comunicare CPU (implicit PyTorch, 1800 s pentru gloo).
--numa-bind, --no-numa-bind	Leagă procesele worker de CPU-urile și memoria NUMA locale GPU-ului. Implicit: False.
--numa-bind-nodes	Nodul NUMA pentru fiecare GPU vizibil, de exemplu [0, 0, 1, 1].
--numa-bind-cpus	Lista de CPU-uri pentru fiecare GPU (folosește numactl --physcpubind).
--device-ids	ID-uri sau UUID-uri fizice de GPU folosite, separate prin virgulă, fără CUDA_VISIBLE_DEVICES. Fără efect cu Ray.
--tensor-parallel-size, -tp	Numărul de grupuri tensor parallel (fiecare strat împărțit pe GPU-uri). Implicit: 1.
--decode-context-parallel-size, -dcp	Rangurile care împart KV cache-ul de decode (DCP). Implicit: 1.
--dcp-comm-backend	Backend-ul de comunicare DCP: ag_rs sau a2a. Valori: a2a, ag_rs, None.
--dcp-q-replicate, --no-dcp-q-replicate	Replică proiecția query MLA în grupul DCP ca să evite all-gather la decode.
--dcp-kv-cache-interleave-size	Dimensiunea de intercalare a KV cache-ului cu DCP; înlocuită de --cp-kv-cache-interleave-size. Implicit: 1.
--cp-kv-cache-interleave-size	Câți tokeni consecutivi se stochează pe un rang DCP înainte de trecerea la următorul.
--prefill-context-parallel-size, -pcp	Rangurile care împart calculul secvenței la prefill (PCP). Implicit: 1.
--data-parallel-size, -dp	Numărul de grupuri data parallel (replici ale modelului). Implicit: 1.
--data-parallel-rank, -dpn	Rangul DP al instanței; activează modul external load balancer pentru MoE.
--data-parallel-start-rank, -dpr	Rangul DP de start pentru nodurile secundare.
--data-parallel-size-local, -dpl	Replicile DP care rulează pe acest nod.
--data-parallel-address, -dpa	Adresa nodului principal al clusterului DP.
--data-parallel-rpc-port, -dpp	Portul RPC fix pentru DP; același pe toate nodurile.
--data-parallel-backend, -dpb	Backend-ul DP: mp sau ray. Implicit: mp.
--data-parallel-hybrid-lb, --no-data-parallel-hybrid-lb, -dph	Modul DP „hybrid”: vLLM echilibrează rangurile locale, un LB extern echilibrează nodurile. Implicit: False.
--data-parallel-external-lb, --no-data-parallel-external-lb, -dpe	Modul DP „external” (un pod per rang); doar pentru MoE. Implicit: False.
--data-parallel-multi-port-external-lb, -dpm	Supervisor local care pornește câte un server API per rang DP și expune health agregat. Implicit: False.
--enable-hc-sp, --no-enable-hc-sp	Sequence parallelism pentru calculul HyperConnection. Implicit: False.
--enable-expert-parallel, --no-enable-expert-parallel, -ep	Expert parallelism în locul tensor parallelism pentru straturile MoE. Implicit: False.
--enable-batch-sharded-sampling, --no-enable-batch-sharded-sampling	Fiecare rang TP eșantionează o parte din batch.
--enable-ep-weight-filter, --no-enable-ep-weight-filter	Cu EP, fiecare rang citește de pe disc doar experții proprii. Implicit: False.
--all2all-backend	Backend-ul All2All pentru comunicarea expert parallel. Valori: allgather_reducescatter, deepep_high_throughput, deepep_low_latency, deepep_v2, flashinfer_all2allv, flashinfer_nvlink_one_sided, flashinfer_nvlink_two_sided, moonep, mori_high_throughput, mori_low_latency, naive, nixl_ep, pplx. Implicit: allgather_reducescatter.
--enable-dbo, --no-enable-dbo	Activează dual batch overlap. Implicit: False.
--enable-shm-tensor-arena, --no-enable-shm-tensor-arena	Trimite tensorii CPU mari prin memorie partajată fără copii. Experimental. Implicit: False.
--ubatch-size	Dimensiunea ubatch. Implicit: 0.
--enable-elastic-ep, --no-enable-elastic-ep	Expert parallelism elastic cu grupuri NCCL fără stare. Implicit: False.
--elastic-ep-max-dp-size	Dimensiunea DP maximă la elastic EP.
--dbo-decode-token-threshold	Pragul de tokeni pentru dual batch overlap în batch-uri doar cu decode. Implicit: 32.
--dp-sync-interval	Pașii între sincronizările DP; identic pe toate rangurile. Implicit: 16.
--dbo-prefill-token-threshold	Pragul de tokeni pentru dual batch overlap în batch-uri cu prefill. Implicit: 512.
--disable-nccl-for-dp-synchronization, --no-disable-nccl-for-dp-synchronization	Folosește Gloo în loc de NCCL la sincronizarea DP.
--enable-eplb, --no-enable-eplb	Echilibrarea încărcării expert parallel pentru straturile MoE. Implicit: False.
--eplb-config	Configurația EPLB (JSON). Valoarea implicită completă: vllm serve --help=eplb-config.
--expert-placement-strategy	Plasarea experților: linear (contiguu) sau round_robin. Valori: linear, round_robin. Implicit: linear.
--max-parallel-loading-workers	Workeri de încărcare paralelă, ca să eviți OOM în RAM la modele mari cu TP.
--ray-workers-use-nsight, --no-ray-workers-use-nsight	Profilează workerii Ray cu nsight. Implicit: False.
--disable-custom-all-reduce, --no-disable-custom-all-reduce	Dezactivează kernel-ul all-reduce propriu și folosește NCCL. Implicit: False.
--worker-cls	Clasa worker; auto o alege după platformă. Implicit: auto.
--worker-extension-cls	Clasă moștenită dinamic de worker, pentru metode apelate cu collective_rpc. Implicit: "".
--enable-fault-tolerance, --no-enable-fault-tolerance	Toleranță la erori (de exemplu reducerea DPEngineCore defecte). Implicit: False.
--fault-tolerance-config	Configurația toleranței la erori (JSON). Valoarea implicită completă: vllm serve --help=fault-tolerance-config.
[CacheConfig]	CacheConfig: memoria GPU și KV cache-ul.
--block-size	Dimensiunea unui bloc de KV cache, în tokeni.
--gpu-memory-utilization, --device-memory-utilization	Fracțiunea din memoria GPU folosită de instanță (0–1). Limita este per instanță: două instanțe pe același GPU pot avea 0.5 fiecare. Implicit: 0.92.
--kv-cache-memory-bytes	Dimensiunea KV cache-ului per GPU, în bytes; când este setată, --gpu-memory-utilization este ignorat. Acceptă 1k, 2M etc.
--kv-cache-dtype	Tipul de date al KV cache-ului. auto folosește tipul modelului; fp8 înseamnă fp8_e4m3. Valori: auto, bfloat16, float16, fp8, fp8_ds_mla, fp8_e4m3, fp8_e5m2, fp8_inc, fp8_per_token_head, int4_per_token_head, int8_per_token_head, nvfp4, nvfp4_4over6, nvfp4_ds_mla, turboquant_3bit_nc, turboquant_4bit_nc, turboquant_k3v4_nc, turboquant_k8v4, ultraquant_4bit. Implicit: auto.
--num-gpu-blocks-override	Numărul de blocuri GPU, peste valoarea măsurată. Pentru teste.
--enable-prefix-caching, --no-enable-prefix-caching	Activează prefix caching.
--prefix-caching-hash-algo	Algoritmul de hash pentru prefix caching. Valori: sha256, sha256_cbor, xxhash, xxhash_cbor. Implicit: sha256.
--prefix-cache-retention-interval	Intervalul în tokeni între checkpoint-urile păstrate (sliding window și Mamba). Implicit: 0.
--kv-cache-dtype-skip-layers	Straturi excluse de la cuantizarea KV cache (indici sau tipuri de atenție, de exemplu sliding_window). Implicit: [].
--kv-sharing-fast-prefill, --no-kv-sharing-fast-prefill	Optimizare de prefill pentru configurații cu KV partajat (de exemplu Gemma3n). Implicit: False.
--swa-bounded-replay, --no-swa-bounded-replay	Ține KV-ul sliding window în afara prefix caching și îl recalculează după un hit (modele care suportă). Implicit: True.
--mamba-cache-dtype	Tipul de date pentru cache-ul Mamba (conv și ssm). Valori: auto, bfloat16, float16, float32. Implicit: auto.
--mamba-ssm-cache-dtype	Tipul de date doar pentru starea ssm Mamba. Valori: auto, bfloat16, float16, float32. Implicit: auto.
--mamba-block-size	Dimensiunea blocului de cache Mamba; doar cu prefix caching, multiplu de 8.
--prefix-match-unit	Granularitatea (tokeni) la care poate avea loc un hit de prefix cache.
--mamba-cache-mode	Strategia de cache pentru straturile Mamba: none sau align. Valori: align, none. Implicit: none.
--enable-mamba-shared-prefix-checkpoint, --no-enable-mamba-shared-prefix-checkpoint	Checkpoint Mamba suplimentar la joncțiunea prefixului comun. Implicit: False.
--replayssm-buffer-len	Lungimea istoricului ReplaySSM pentru Mamba2. Implicit: 16.
--use-replayssm, --no-use-replayssm	Folosește kernel-ul de decode ReplaySSM pentru Mamba2. Implicit: False.
--kv-offloading-size	Bufferul (GiB) pentru mutarea KV cache-ului în CPU; nesetat înseamnă fără offloading.
--kv-offloading-backend	Backend-ul de KV offloading: native sau lmcache. Valori: lmcache, native. Implicit: native.
[OffloadConfig]	OffloadConfig: mutarea greutăților în memoria CPU.
--offload-backend	Backend-ul de offloading al greutăților: auto, uva, prefetch. Valori: auto, prefetch, uva. Implicit: auto.
--cpu-offload-gb	GiB de greutăți mutate în CPU, per GPU. Mărește virtual memoria GPU; cere legătură CPU–GPU rapidă. Implicit: 0.
--cpu-offload-params	Segmente de nume de parametri vizate de offloading în CPU. Implicit: set().
--offload-group-size	Grupează câte N straturi și mută ultimele straturi din fiecare grup (prefetch asincron); 0 dezactivează. Implicit: 0.
--offload-num-in-group	Straturi mutate per grup. Implicit: 1.
--offload-prefetch-step	Câte straturi se preîncarcă înainte. Implicit: 1.
--offload-params	Segmente de nume de parametri vizate de offloading cu prefetch. Implicit: set().
[MultiModalConfig]	MultiModalConfig: modelele multimodale (imagini, video, audio).
--language-model-only, --no-language-model-only	Dezactivează toate intrările multimodale (toate limitele la 0). Implicit: False.
--limit-mm-per-prompt	Numărul maxim de elemente per modalitate într-un prompt (implicit 999 per modalitate), de exemplu {"image": 16} sau --limit-mm-per-prompt.image 2. Implicit: {}.
--enable-mm-embeds, --no-enable-mm-embeds	Permite embeddings multimodale ca intrare ("type": "*_embeds" în server). Implicit: False.
--media-io-kwargs	Argumente pentru procesarea media pe modalități, de exemplu {"video": {"num_frames": 40}}. Implicit: {}.
--mm-processor-kwargs	Argumente pentru procesorul multimodal al modelului, de exemplu {"num_crops": 4}.
--mm-processor-cache-gb	Dimensiunea (GiB) cache-ului procesorului multimodal; se dublează pe fiecare proces API și engine. Implicit: 4.
--mm-processor-cache-type	Tipul cache-ului: lru sau shm (memorie partajată). Valori: lru, shm. Implicit: lru.
--mm-hasher-algorithm	Algoritmul de hash pentru cache-ul multimodal; sha256/sha512 pentru FIPS. Valori: blake3, sha256, sha512. Implicit: blake3.
--mm-shm-cache-max-object-size-mb	Dimensiunea maximă (MiB) a unui obiect în cache-ul shm. Implicit: 128.
--mm-encoder-only, --no-mm-encoder-only	Omite componenta de limbaj (encoder dezagregat). Implicit: False.
--mm-encoder-tp-mode	Cum folosește encoderul multimodal TP: weights (împarte greutățile) sau data (împarte datele). Valori: data, weights. Implicit: weights.
--mm-encoder-attn-backend	Backend-ul de atenție pentru encoderul ViT.
--mm-encoder-attn-dtype	Tipul de date pentru atenția ViT (fp8). Valori: fp8, None.
--mm-encoder-fp8-scale-path	Fișier JSON cu scale FP8 Q/K/V per strat (scalare statică).
--mm-encoder-fp8-scale-save-path	Unde se salvează scalele calibrate la scalarea FP8 dinamică.
--mm-encoder-fp8-scale-save-margin	Marja înmulțită cu scalele la salvare. Implicit: 1.5.
--interleave-mm-strings, --no-interleave-mm-strings	Prompturi multimodale complet intercalate cu --chat-template-content-format=string. Implicit: False.
--skip-mm-profiling, --no-skip-mm-profiling	Omite profilarea memoriei multimodale la pornire (pornire mai rapidă, estimarea memoriei rămâne la tine). Implicit: False.
--video-pruning-rate	Fracțiunea de tokeni video eliminați, în [0, 1).
--video-pruning-method	Algoritmul de eliminare: evs sau vidcom2. Valori: evs, vidcom2. Implicit: evs.
--mm-tensor-ipc	Metoda IPC pentru tensorii multimodali: direct_rpc sau torch_shm. Valori: direct_rpc, torch_shm. Implicit: direct_rpc.
--mm-processor-device	Dispozitivul pe care rulează transformările procesorului HF: auto sau cpu. Valori: auto, cpu. Implicit: auto.
--mm-ipc-gpu-memory-gb	Memorie GPU (GiB) rezervată pentru lucru multimodal în procesul API (de exemplu decodare video hardware). Implicit: 0.
--mm-device-do-normalize, --no-mm-device-do-normalize	Mută normalizarea preprocesării pe dispozitiv, înainte de ViT.
[LoRAConfig]	LoRAConfig: adaptoarele LoRA.
--enable-lora, --no-enable-lora	Activează adaptoarele LoRA.
--max-loras	Numărul maxim de LoRA într-un batch. Implicit: 1.
--max-lora-rank	Rangul maxim LoRA. Valori: 1, 8, 16, 32, 64, 128, 256, 320, 512. Implicit: 16.
--lora-dtype	Tipul de date LoRA; auto folosește tipul modelului de bază. Implicit: auto.
--enable-tower-connector-lora, --no-enable-tower-connector-lora	LoRA pentru encoderul vizual și conectorul modelelor multimodale. Experimental. Implicit: False.
--max-cpu-loras	Numărul maxim de LoRA păstrate în memoria CPU; cel puțin --max-loras.
--fully-sharded-loras, --no-fully-sharded-loras	Calculul LoRA complet împărțit cu TP (implicit doar jumătate). Implicit: False.
--lora-target-modules	Limitează LoRA la anumite module (sufixe, de exemplu o_proj qkv_proj).
--default-mm-loras	LoRA implicite per modalitate pentru modelele multimodale.
--specialize-active-lora, --no-specialize-active-lora	CUDA graphs separate după numărul de LoRA active. Implicit: False.
--enable-mixed-moe-lora-format, --no-enable-mixed-moe-lora-format	Permite adaptoare MoE LoRA 2D și 3D în aceeași instanță. Implicit: False.
--enable-moe-shared-loras, --no-enable-moe-shared-loras	Încarcă adaptoarele de experți MoE în formatul „shared-outer”. Implicit: False.
--max-lora-cls-labels	Dimensiunea maximă a ieșirii pentru capetele de clasificare LoRA.
[LoggingConfig]	LoggingConfig: jurnalizarea vLLM.
--logging-config	Configurația de jurnalizare (JSON sau chei cu punct, de exemplu --logging-config.formatter json).
--log-level	Scurtătură pentru --logging-config.log_level. Valori: CRITICAL, ERROR, WARNING, INFO, DEBUG, NOTSET.
--log-config-file	Depreciat (scos în v0.33.0). Folosește --logging-config.pylogging_config_file.
[ObservabilityConfig]	ObservabilityConfig: metrici și tracing.
--show-hidden-metrics-for-version	Reactivează metrici Prometheus depreciate, ascunse din versiunea dată.
--otlp-traces-endpoint	URL-ul către care se trimit trace-urile OpenTelemetry.
--collect-detailed-traces	Trace-uri detaliate pentru modulele date (cu --otlp-traces-endpoint); poate încetini. Valori: all, model, worker, None.
--per-request-spec-decode-metrics	Metrici de acceptare speculative decoding în fiecare răspuns: none, summary, detailed. Valori: detailed, none, summary. Implicit: none.
--kv-cache-metrics, --no-kv-cache-metrics	Metrici de rezidență KV cache (prin eșantionare). Implicit: False.
--kv-cache-metrics-sample	Rata de eșantionare pentru metricile KV cache. Implicit: 0.01.
--custom-histogram-buckets	Limitele bucket-urilor histogramelor Prometheus (JSON).
--cudagraph-metrics, --no-cudagraph-metrics	Metrici CUDA graph. Implicit: False.
--enable-layerwise-nvtx-tracing, --no-enable-layerwise-nvtx-tracing	Tracing NVTX pe straturi (nu merge cu CUDA graphs). Implicit: False.
--enable-mfu-metrics, --no-enable-mfu-metrics	Metrici Model FLOPs Utilization (MFU). Implicit: False.
--enable-logging-iteration-details, --no-enable-logging-iteration-details	Jurnalizează detaliile fiecărei iterații EngineCore. Implicit: False.
--jit-monitor-mode	Ce se întâmplă la compilări JIT după warmup: warn sau error. Valori: error, warn. Implicit: warn.
--jit-monitor-verbose, --no-jit-monitor-verbose	Jurnalizează fiecare compilare JIT monitorizată. Implicit: False.
[SchedulerConfig]	SchedulerConfig: planificatorul de cereri (batching, chunked prefill, cozi).
--max-num-batched-tokens	Numărul maxim de tokeni procesați într-o iterație (bugetul pentru chunked prefill). Acceptă 1k, 2M etc.
--max-num-scheduled-tokens	Tokenii maximi emiși de scheduler într-o iterație; implicit max_num_batched_tokens.
--max-num-seqs	Numărul maxim de secvențe procesate într-o iterație.
--max-num-active-seqs	Numărul maxim de cereri în starea RUNNING (cel mult max_num_seqs).
--max-num-queued-reqs	Cereri maxime în curs (în așteptare sau rulând); peste limită, răspuns HTTP 503.
--max-num-queued-tokens	Tokenii de prompt maximi în faza de prefill; peste limită, HTTP 503.
--long-prefill-token-threshold	Peste acest număr de tokeni, o cerere este „lungă” la chunked prefill; 0 dezactivează limita. Implicit: 0.
--long-prefill-token-threshold-adaptive, --no-long-prefill-token-threshold-adaptive	Pragul de mai sus devine cel puțin o parte echitabilă din bugetul de tokeni. Implicit: False.
--scheduling-policy	Politica: fcfs (ordinea sosirii) sau priority (valoare mai mică, procesare mai devreme). Valori: fcfs, priority. Implicit: fcfs.
--enable-chunked-prefill, --no-enable-chunked-prefill	Prefill-ul se poate împărți în bucăți, după bugetul max_num_batched_tokens.
--disable-chunked-mm-input, --no-disable-chunked-mm-input	Cu chunked prefill, nu programează parțial un element multimodal. Implicit: False.
--scheduler-cls	Clasa scheduler-ului (implicit vllm.v1.core.sched.scheduler.Scheduler).
--scheduler-reserve-full-isl, --no-scheduler-reserve-full-isl	Verifică dacă tot promptul încape în KV cache înainte de a accepta cererea. Implicit: True.
--watermark	Fracțiunea de blocuri KV păstrate libere la admiterea cererilor, în [0.0, 1.0). Implicit: 0.0.
--prefill-schedule-interval	La DP, admite prefill nou doar o dată la N pași. Implicit: 1.
--disable-hybrid-kv-cache-manager, --no-disable-hybrid-kv-cache-manager	Alocă același KV cache pentru toate straturile de atenție.
--async-scheduling, --no-async-scheduling	Programare asincronă; --no-async-scheduling o dezactivează.
--stream-interval	Câți tokeni se adună înainte de trimiterea în stream; 1 trimite fiecare token. Implicit: 1.
[CompilationConfig]	CompilationConfig: capturarea CUDA graph (restul setărilor stă în --compilation-config).
--cudagraph-capture-sizes	Dimensiunile de batch capturate în CUDA graph. Implicit deduse din configurație.
--max-cudagraph-capture-size	Dimensiunea maximă capturată în CUDA graph.
[KernelConfig]	KernelConfig: alegerea kernel-urilor.
--ir-op-priority	Prioritatea implementărilor operațiilor vLLM IR (JSON). Valoarea implicită completă: vllm serve --help=ir-op-priority.
--enable-flashinfer-autotune, --no-enable-flashinfer-autotune	Rulează autotuning FlashInfer la warmup.
--moe-backend	Backend-ul kernel-urilor pentru experții MoE. Valori: aiter, aiter_mega_moe, aiter_triton_mxfp4_bf16, auto, b12x, batched_triton, cutlass, deep_gemm, deep_gemm_mega_moe, emulation, flashinfer_b12x, flashinfer_cutedsl, flashinfer_cutlass, flashinfer_moe_ep_cutedsl, flashinfer_moe_ep_mega_deep_gemm, flashinfer_trtllm, flydsl, hpc, humming, marlin, rdna3, triton, triton_unfused. Implicit: auto.
--linear-backend	Backend-ul GEMM pentru straturile liniare (cuantizate). Valori: aiter, auto, b12x, conch, cutlass, deep_gemm, emulation, exllama, fbgemm, flashinfer_b12x, flashinfer_cudnn, flashinfer_cutedsl, flashinfer_cutlass, flashinfer_trtllm, humming, machete, marlin, torch, triton, xpu, xpu_woq. Implicit: auto.
--sparse-indexer-topk-backend	Backend-ul top-k pentru indexerul sparse DSA. Valori: aiter, auto, cooperative, deep_select, flashinfer, per_row, persistent, torch. Implicit: auto.
[VllmConfig]	VllmConfig: configurații JSON complete (speculative decoding, compilare, KV transfer, structured outputs etc.) și nivelul de optimizare.
--speculative-config, -sc	Configurația speculative decoding (JSON): method, model, num_speculative_tokens etc.
--spec-method	Scurtătură pentru metoda de speculative decoding. Valori: bailing_hybrid_mtp, bailing_hybrid_v3_mtp, custom_class, deepseek_mtp, dflash, dots3_note_mtp, draft_model, dspark, eagle, eagle3, ernie_mtp, exaone4_5_mtp, exaone_moe_mtp, extract_hidden_states, gemma4_mtp, glm4_moe_lite_mtp, glm4_moe_mtp, glm5_next_mtp, glm_ocr_mtp, hy_v3_mtp, hy_v4_mtp, inkling_mtp, kimi_k3_mtp, longcat_flash_mtp, medusa, mimo_mtp, mimo_v2_mtp, minimax_m3_mtp, mlp_speculator, mtp, nemotron_h_mtp, ngram, ngram_gpu, pangu_ultra_moe_mtp, qwen3_5_mtp, qwen3_next_mtp, qwen4_exp_mtp, step3p5_mtp, suffix, None.
--spec-model	Scurtătură pentru modelul draft, capul EAGLE sau greutățile suplimentare.
--spec-tokens	Scurtătură pentru numărul de tokeni speculativi.
--watermark-config	Configurația pentru watermarking-ul textului (JSON).
--diffusion-config, -dc	Configurația pentru Diffusion LLM (JSON).
--kv-transfer-config	Configurația transferului distribuit de KV cache (disaggregated prefill), JSON.
--kv-events-config	Configurația publicării evenimentelor KV (JSON).
--ec-transfer-config	Configurația transferului distribuit al cache-ului de encoder (JSON).
--ec-manager-config	Manager propriu pentru cache-ul de encoder (JSON). Valoarea implicită completă: vllm serve --help=ec-manager-config.
--compilation-config, -cc	Configurația torch.compile și CUDA graph (JSON sau -cc.mode=3). Valoarea implicită completă: vllm serve --help=compilation-config.
--attention-config, -ac	Configurația atenției (JSON). Valoarea implicită completă: vllm serve --help=attention-config.
--engram-config	Stocarea și împărțirea embeddings n-gram (JSON).
--reasoning-config	Configurația pentru modelele cu raționament (JSON).
--kernel-config	Configurația kernel-urilor (JSON), de exemplu linear_backend_per_quant. Valoarea implicită completă: vllm serve --help=kernel-config.
--additional-config	Configurație suplimentară specifică platformei. Implicit: {}.
--structured-outputs-config	Configurația structured outputs (JSON), de exemplu --structured-outputs-config.backend xgrammar. Câmpuri: backend (implicit auto), disable_any_whitespace, disable_additional_properties, reasoning_parser, enable_in_reasoning. Valoarea implicită completă: vllm serve --help=structured-outputs-config.
--aux-output-config	Configurația ieșirilor auxiliare (JSON). Valoarea implicită completă: vllm serve --help=aux-output-config.
--profiler-config	Configurația profilării (JSON). Valoarea implicită completă: vllm serve --help=profiler-config.
--optimization-level	Nivelul de optimizare: -O0 pornire cea mai rapidă, -O3 performanță maximă; implicit -O2. Implicit: 2.
--performance-mode	Modul de performanță: balanced, interactivity (latență mică) sau throughput (debit mare). Valori: balanced, interactivity, throughput. Implicit: balanced.
--weight-transfer-config	Transferul greutăților în antrenarea RL (JSON).

Exemple practice

Exemplul 1: Toate argumentele, un grup sau unul singur

vllm serve --help=all
vllm serve --help=ModelConfig
vllm serve --help=max-num-seqs
vllm serve --help=max

Exemplul 2: Argumente uzuale pe un singur GPU

Comanda din ghidul Draft Models, fără configurația speculativă.

vllm serve Qwen/Qwen3-4B-Thinking-2507 \
    --host 0.0.0.0 \
    --port 8000 \
    --seed 42 \
    -tp 1 \
    --max-model-len 2048 \
    --gpu-memory-utilization 0.8

Exemplul 3: Argument JSON dat pe chei

Cele două forme sunt echivalente (exemplul din pagina Quantization).

vllm serve <model> --quantization-config '{"moe":{"activation":"mxfp8"}}'
vllm serve <model> --quantization-config.moe.activation mxfp8

Exemplul 4: Argumente într-un fișier YAML

Cheile sunt numele lungi ale argumentelor. Valorile din linia de comandă au prioritate față de fișier, iar fișierul față de valorile implicite.

# config.yaml
model: meta-llama/Llama-3.1-8B-Instruct
host: "127.0.0.1"
port: 6379
uvicorn-log-level: "info"

vllm serve --config config.yaml

Greșeli frecvente și bune practici

• Copiezi argumente din tutoriale vechi. --speculative-model, --num-speculative-tokens și --guided-decoding-backend nu mai există; se folosesc --speculative-config și --structured-outputs-config.backend.
• Dai valori booleene ca text (--enable-chunked-prefill true). Opțiunile booleene se activează cu --opțiune și se dezactivează cu --no-opțiune.
• Pui --speculative-config ca șir JSON escapat în YAML. În fișierul de configurare folosești o structură YAML imbricată.
• Te bazezi pe --api-key pentru securitate. Cheia protejează doar căile /v1, /v2 și /inference; restul (de exemplu /invocations) rămâne deschis.

Comenzi înrudite

• vllm-serve
• vllm-cli
• gpu-memory-utilization
• max-model-len
• tensor-parallel-size
• quantization-awq-gptq