Clasa Ollama din pachetul llama-index-llms-ollama leagă LlamaIndex de serverul local Ollama (http://localhost:11434), permițând construirea de motoare RAG fără costuri pe token și fără transmiterea datelor private pe internet.
Exemplu practic
from llama_index.llms.ollama import Ollama
from llama_index.core import Settings
Settings.llm = Ollama(
model="qwen2.5:7b",
base_url="http://localhost:11434",
temperature=0.3
)Suportă streaming nativ în query_engine.query().
Întrebări & Exemple practice:
Clasa Ollama în LlamaIndex: Rularea Modelelor Open-Source LocaleAi o întrebare despre Clasa Ollama în LlamaIndex: Rularea Modelelor Open-Source Locale sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.