LLM Node în Dify: configurare prompt, selecție modele, memory context și streaming în Dify: fluxuri agentice, Knowledge și self-hosting

LLM Node (Nodul LLM) este componenta centrală de procesare generativă din canvasul vizual Dify. Permite selectarea modelului de limbaj (OpenAI GPT-4o, Anthropic Claude 3.5 Sonnet, DeepSeek V3/R1, Llama 3 etc.), definirea promptului de sistem, injectarea variabilelor contextuale din nodurile anterioare, activarea memoriei conversaționale și configurarea parametrilor de eșantionare (temperature, top_p, max_tokens, presence_penalty).

Configurare Nod LLM în Workflow Canvas

Nodul LLM primește intrări textuale, metadate și fragmente de documente regăsite, aplică șablonul de prompt specificat și generează răspunsul fie complet, fie prin streaming chunk-by-chunk. Poate rula în mod izolat sau integrat cu instrumente de memorie multi-turn.

# Exemplu configurare Nod LLM în Dify DSL:
node_id: llm_extractor
type: llm
title: "Analiză Semantică și Răspuns"
model:
  provider: openai
  name: gpt-4o
  mode: chat
  completion_params:
    temperature: 0.2
    top_p: 0.95
    max_tokens: 1500
prompt_template:
  - role: system
    text: "Ești un asistent tehnic specializat în arhitectură cloud. Folosește contextul furnizat: {{#retrieval.result#}}"
  - role: user
    text: "{{#sys.query#}}"
memory:
  window:
    enabled: true
    size: 10
context:
  variable_selector: ["retrieval", "result"]

Implementarea corectă a acestei funcționalități în arhitectura Dify asigură o integrare fluidă între fluxurile de lucru automate, modelele de limbaj și bazele de cunoștințe enterprise.