HuggingFacePipeline: Rularea Modelelor Locale Transformers în LangChain & LangGraph

Pachetul langchain-huggingface expune clasa HuggingFacePipeline care încapsulează un pipeline nativ din biblioteca transformers, permițând rularea locală a modelelor descărcate direct pe GPU sau CPU.

Exemplu de instanțiere

from langchain_huggingface import HuggingFacePipeline

llm = HuggingFacePipeline.from_model_id(
    model_id="Qwen/Qwen2.5-Coder-7B-Instruct",
    task="text-generation",
    pipeline_kwargs={"max_new_tokens": 512, "temperature": 0.3}
)

Oferă independență totală și suport pentru cuantizări bitsandbytes (4-bit și 8-bit).