Smart Document Crawler
All’interno di Smart Document Access, è possibile configurare il crawler per l’indicizzazione dei contenuti di un sito web.
Il crawler opera in due fasi distinte: una prima fase di navigazione dei link, che mappa la struttura del sito senza estrarre contenuti, e una seconda fase di estrazione dei contenuti, che genera i documenti PDF indicizzati.
Attivazione e creazione della struttura
All’interno di una sottocartella già creata, selezionare l’opzione Configura Smart Crawler.
Attivare la spunta Abilita su sottocartella
Selezionare Aggiungi configurazione
Assegnare un nome alla configurazione e selezionare Salva.
In questa fase è possibile importare configurazioni precedentemente scaricate oppure scaricare quelle già presenti.
Impostare il Crawler
Selezionando Modifica campi si accede alla configurazione del Crawler.
Generale
Inserire l’URL di partenza del sito nel campo Indirizzo.
Inserire altri URL in Pagine aggiuntive se necessario.
Navigazione
Abilitare l’opzione Escludi i siti fuori dal dominio per limitare la navigazione ai soli link interni al dominio principale.
Abilitare l’opzione Includi documenti PDF, doc, docx se si vogliono navigare anche i documenti allegati alle pagine web.
Nel campo Indirizzi da includere inserire l’elenco delle pagine del sito da navigare.
Nel campo Indirizzi da escludere inserire l’elenco delle pagine del sito da non navigare.
È possibile utilizzare espressioni regolari (regex) per indicare molteplici pagine.
Impostare la profondità massima e il numero massimo di pagine da navigare.
Estrazione
Nella sezione Estrazione vengono configurate le regole che il Crawler seguirà per trasformare le pagine web in documentazione.
Nel campo Filtro indirizzi da includere inserire l’elenco delle pagine da estrarre e convertire in documentazione.
Le pagine da estrarre potrebbero coincidere con le pagine da navigare.
Nel campo Filtro indirizzi da escludere inserire l’elenco delle pagine da non estrarre.
Aggiungere i selettori preimpostati nel campo Rimuovi elementi.
Gli elementi da rimuovere prima dell’estrazione possono anche essere indicati manualmente, specificando un selettore CSS, XPATH o compatibile con Puppeteer.
Pianificazione
Selezionare Abilita pianificazione e stabilire la frequenza di esecuzione del Crawler (settimanale o mensile) e impostare il giorno e l’ora di partenza; è possibile impostare più giorni della settimana o del mese per l’esecuzione ripetuta.
Visualizzazione dei documenti
Per verificare i documenti PDF generati dal crawler, tornare all’interno della sottocartella in Smart Document Access.
L’elenco dei documenti indicizzati sarà disponibile nella sezione dedicata alla sottocartella configurata.
Ogni documento ha associato come File origine l’URL da cui è stato generato il documento.
