Arhitectura Apple Silicon (M1/M2/M3/M4) folosește o memorie unificată de mare lățime de bandă partajată între CPU și GPU. Unsloth și llama.cpp utilizează API-ul Metal pentru a rula modele masive fără copieri între memorii.
# Pe macOS, suportul Metal este de regulă activat implicit:
cmake -B build -DGGML_METAL=ON
cmake --build build --config Release -j $(sysctl -n hw.ncpu)
# Rulare direct pe GPU-ul integrat Apple Metal
./build/bin/llama-cli -m model.gguf -ngl 99 -p "Explică memoria unificată"Pe un MacBook Pro cu 64 GB sau 128 GB RAM unificat, puteți rula modele de 70B la viteze interactive de 15-20 tokeni/s.
Întrebări & Exemple practice:
Compilarea Nativă Apple Silicon prin Metal (M1, M2, M3, M4)Ai o întrebare despre Compilarea Nativă Apple Silicon prin Metal (M1, M2, M3, M4) sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.