Compilarea cu Accelerare NVIDIA CUDA & cuBLAS în llama.cpp: Inferență LLM în C++ & Formatul GGUF

Pentru a descărca straturile rețelei pe GPU-uri NVIDIA și a atinge viteze de zeci de tokeni pe secundă, este necesară activarea nucleelor GGML CUDA la compilare:

# Compilare cu suport complet CUDA (cuBLAS)
cmake -B build -DGGML_CUDA=ON -DCMAKE_BUILD_TYPE=Release
cmake --build build --config Release -j $(nproc)

# Testare recunoaștere GPU
./build/bin/llama-cli -h | grep -i cuda

Binarul rezultat permite descărcarea parțială sau totală a straturilor prin flag-ul -ngl / --n-gpu-layers.