Un parser di siti web in Python che raccoglie dati pubblici dalle pagine in CSV o Excel: prezzi, cataloghi, annunci

Esempio di risultato

def product_links(list_url: str) -> Iterator[str]:
    """Link alle pagine prodotto da ogni pagina dell'elenco, seguendo 'Avanti'."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """Una pagina pubblica, a un ritmo discreto: una pausa tra le richieste e qualche tentativo in caso di errore."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s ha risposto %s, tentativo %d di 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} non si è aperta dopo 3 tentativi")

Informazioni sul servizio

Un parser raccoglie i dati che si vedono sulle pagine web pubbliche e li salva come tabella: prezzi e disponibilità dei prodotti, il catalogo di un fornitore per il suo negozio, annunci, offerte di lavoro, eventi o articoli. Ci indichi il sito e le pagine, elenchi i campi che le servono (nome, prezzo, link, immagine e così via) e ci invii una o due di quelle pagine salvate dal browser (File > Salva pagina con nome) o loro screenshot. Scriviamo il parser in Python sulla struttura reale di quelle pagine, e salva i risultati in CSV, Excel o JSON. Riceve un archivio con il codice, un file di impostazioni con gli indirizzi e la pausa tra le pagine, e un README che spiega come installare Python ed eseguirlo. Il parser lo esegue lei sul suo computer, così i dati arrivano direttamente a lei; non li raccogliamo per lei né li conserviamo. Legge solo pagine pubbliche, a un ritmo discreto, e non accede mai con login, non aggira captcha o altre protezioni né raccoglie dati personali come nomi, email o numeri di telefono delle persone. Quando un sito cambia struttura, il parser può richiedere un aggiornamento. Se può raccogliere e usare i dati di un sito secondo le sue condizioni è sua responsabilità.

Cosa è incluso

• Cosa riceveUn archivio ZIP con il codice Python, un file di impostazioni e un README con le istruzioni passo passo; il codice è visibile anche nella pagina dell'ordine.
• I suoi campi, la sua tabellaColonne nell'ordine che le serve
• Costruito sulle pagine realiScritto sulla struttura delle pagine che invia
• Ritmo discretoUna pausa tra le pagine, regolata nelle impostazioni
• Gira sul suo computerWindows, macOS o Linux, con Python
• Una guida sempliceCosa installare e come avviarlo, passo passo

Come funziona

1. 1
   PagineLei indica il sito, i campi e una o due pagine salvate
2. 2
   ParserScriviamo il codice e la guida per eseguirlo
3. 3
   AvvioLo esegue e controlla le prime righe della tabella
4. 4
   ModificheChiede modifiche nei limiti del pacchetto e invia eventuali messaggi di errore

Cosa ci serve da lei

Il sito e le pagine esatte: un link a un elenco e a una pagina di dettaglio, e circa quante pagine ci sono. I campi che le servono, nell'ordine della sua tabella, con un esempio per ciascuno. Una o due di quelle pagine salvate dal browser in HTML (File > Salva pagina con nome) o screenshot, così il parser segue la loro struttura reale. Il file dei risultati che le serve (CSV, Excel o JSON) e dove lo eseguirà.

Le chiederemo:

• Quale sito e quali pagine?
• I campi che le servono
• Circa quante pagine?
• Il file dei risultati
• Altro che deve fare

Confronto dei pacchetti

Domande e risposte

Non hai trovato la risposta? Chiedi a noi