Clasa abstractă CustomLLM din llama_index.core.llms oferă o modalitate curată de a conecta LlamaIndex la orice server intern, API custom sau model proprietar prin implementarea metodelor obligatorii complete(), stream_complete() și a proprietății metadata.
Exemplu de implementare
from llama_index.core.llms import CustomLLM, CompletionResponse, LLMMetadata
class ModelProprietar(CustomLLM):
context_window: int = 4096
num_output: int = 512
model_name: str = "custom-backend"
@property
def metadata(self) -> LLMMetadata:
return LLMMetadata(context_window=self.context_window, num_output=self.num_output, model_name=self.model_name)
def complete(self, prompt: str, **kwargs) -> CompletionResponse:
# Apel către serviciul intern...
return CompletionResponse(text="Răspuns generat de microserviciul companiei.")Permite companiilor să respecte standardele de securitate interne fără a renunța la ecosistemul LlamaIndex.
Întrebări & Exemple practice:
Clasa CustomLLM: Construirea de Integrări Personalizate de ModeleAi o întrebare despre Clasa CustomLLM: Construirea de Integrări Personalizate de Modele sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.