Semantic Chunking renunță la tăierea fixă bazată pe număr de caractere sau cuvinte. În schimb, împarte documentul în propoziții, calculează embedding-urile pentru propoziții adiacente și identifică o ruptură (chunk boundary) doar atunci când distanța semantică depășește un anumit prag statistic (de exemplu percentila 95).
from langchain_experimental.text_splitter import SemanticChunker
from langchain_openai.embeddings import OpenAIEmbeddings
chunker = SemanticChunker(
OpenAIEmbeddings(),
breakpoint_threshold_type="percentile",
breakpoint_threshold_amount=90
)
documente = chunker.create_documents([text_manual_lung])
for doc in documente:
print(f"Dimensiune chunk semantic: {len(doc.page_content)} caractere")Avantaj: Fiecare fragment obținut conține o idee completă, eliminând fragmentarea arbitrară a ideilor sau definițiilor tehnice.
Întrebări & Discuții: Semantic Chunking: Segmentarea Textelor bazată pe Puncte de Ruptură a Înțelesului
Ai o întrebare despre Semantic Chunking: Segmentarea Textelor bazată pe Puncte de Ruptură a Înțelesului sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.