Extensia Optimum adaptează modelele Hugging Face pentru acceleratoare hardware specifice (procesoare Intel prin OpenVINO, cipuri AWS Inferentia prin Neuron, procesoare AMD și runtime-ul ONNX), dublând viteza pe CPU-uri standard de server.
from optimum.onnxruntime import ORTModelForCausalLM
from transformers import AutoTokenizer
model = ORTModelForCausalLM.from_pretrained("gpt2", export=True)
tokenizer = AutoTokenizer.from_pretrained("gpt2")
# Inferență ultra-rapidă pe CPU utilizând motorul optimizat ONNX RuntimeReducere costuri: Permite rularea sarcinilor de clasificare și embeddings pe instanțe CPU ieftine fără plăci grafice scumpe.
Întrebări & Exemple practice:
Hugging Face Optimum: Optimizare Hardware pentru Intel OpenVINO, ONNX și AWS NeuronAi o întrebare despre Hugging Face Optimum: Optimizare Hardware pentru Intel OpenVINO, ONNX și AWS Neuron sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.