Clasa HuggingFaceLLM: Rularea Modelelor Direct din Transformers în LlamaIndex & Data RAG

Clasa HuggingFaceLLM încarcă direct greutățile modelelor de pe Hugging Face Hub în memoria GPU-ului local, oferind control fin asupra cuantizării bitsandbytes (4-bit/8-bit), a parametrilor de generare și a șabloanelor de chat (Chat Templates).

Exemplu de instanțiere

from llama_index.llms.huggingface import HuggingFaceLLM

llm = HuggingFaceLLM(
    model_name="mistralai/Mistral-7B-Instruct-v0.3",
    tokenizer_name="mistralai/Mistral-7B-Instruct-v0.3",
    context_window=32768,
    max_new_tokens=512,
    device_map="auto"
)

Elimină dependența de orice server sau demon extern de inferență.