LlamaIndex oferă conectori specializați pentru extragerea conținutului de pe pagini web publice: SimpleWebPageReader (rapid, bazat pe requests), BeautifulSoupWebReader (filtrare fină pe selectoare CSS) și TrafilaturaWebReader (eliminarea reclamelor și a meniurilor laterale).
from llama_index.readers.web import SimpleWebPageReader
urls = ["https://dexblog.ro/invata/python/", "https://dexblog.ro/invata/fastapi/"]
documents = SimpleWebPageReader(html_to_text=True).load_data(urls)
index = VectorStoreIndex.from_documents(documents)
Text pur: Extrage corpul principal al articolului fără poluarea cu elemente de navigare sau subsoluri.
Întrebări & Exemple practice:
Web Readers: SimpleWebPageReader, BeautifulSoup și TrafilaturaAi o întrebare despre Web Readers: SimpleWebPageReader, BeautifulSoup și Trafilatura sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.