Rulare modele locale open-source via dspy.LM(‘ollama/…’) în DSPy & Programare Algoritmică LLM

DSPy oferă suport nativ pentru rularea modelelor locale open-source (Llama 3.3, Mistral, Qwen 2.5, DeepSeek R1) servite prin Ollama. Permite compilarea și rularea complet gratuită și privată a programelor DSPy pe propria stație de lucru fără apeluri cloud.

Dezvoltare Locală și Privată cu Ollama

Zero costuri de tokeni în timpul ciclurilor lungi de antrenare și optimizare a prompturilor.

import dspy

# Conectare la instanța locală Ollama:
ollama_lm = dspy.LM(
    "ollama/llama3.1:8b",
    api_base="http://localhost:11434",
    temperature=0.0
)
dspy.settings.configure(lm=ollama_lm)

# Testare directă:
classify = dspy.Predict("text -> category")
print(classify(text="Eroare conexiune socket").category)

Utilizarea corectă a acestei funcționalități în DSPy asigură programarea algoritmică robustă a modelelor mari de limbaj, decuplând arhitectura codului de redactarea fragilă a prompturilor manuale.