Estrazione dati con tecniche di Web Scraping/Crawling e Pannello Back-End per la gestione dei dati

Pannello di gestione Back-End (area riservata e non pubblica) per la rappresentazione dei dati di un database destinato al settore immobiliare (esempio realizzazione in laravel, codeigniter o altri framework similari). Quattro tipologie di visualizzazione: 1. Elenco completo degli elementi 2. Mappa con collocazione geografica di tutti gli elementi 3. Riquadro con immagine di copertina e info sintetiche di tutti gli elementi. 4. Scheda dettaglio del singolo elemento (immobile) La piattaforma dovrà permettere di filtrare i risultati (per città, contenuto testuale, categoria, collocazione geografica con raggio d’azione, ecc..) Le principali informazioni che dovranno essere presenti in ogni singola scheda (singolo elemento) saranno: descrizione del bene, località, coordinate sulla mappa, galleria foto, foto copertina, dimensione mq, prezzo di vendita, perizie, avvisi di vendita, link dell’asta, ecc.. I dati dovranno essere estrapolati da alcuni portali specifici del settore delle aste giudiziarie e aste fallimentari con la tecnica del Web Scraping / Web Crawling ([login to view URL], [login to view URL], [login to view URL], [login to view URL], [login to view URL], [login to view URL], [login to view URL]). In particolare per l’estrapolazione dei dati saranno necessari: 1. Rotazione IP, o altri servizi proxy che permettano di instradare le richieste attraverso una serie di indirizzi IP differenti. 2. Impostare uno User Agent reale 3. Impostare altre intestazioni HTTP per far sembrare il web scraper un browser reale 4. Impostare intervalli causali tra le richieste (ad esempio tra 2 e 10 secondi), in modo da non sovraccaricare il server. 5. Impostare un referrer 6. Navigare in modalità Headless (senza interfaccia) 7. Evitare le trappole Honeypot Tutte Tecniche e accorgimenti necessari per procedere con il web scraping sulla maggior parte di siti web senza alcun problema di blocco presente o futuro. Infine la piattaforma dovrà permettere di generare un file xml con tutto il contenuto del database. Per candidarsi e rispondere a quest'annuncio scrivere il risultato di cinque per tre prima della presentazione.