Un parser Python che raccoglie in una tabella i prezzi pubblici di un concorrente: prezzo, prezzo precedente, disponibilità e link

Esempio di risultato

def product_links(list_url: str) -> Iterator[str]:
    """Link alle pagine prodotto da ogni pagina dell'elenco, seguendo 'Avanti'."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """Una pagina pubblica, a un ritmo discreto: una pausa tra le richieste e qualche tentativo in caso di errore."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s ha risposto %s, tentativo %d di 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} non si è aperta dopo 3 tentativi")

Informazioni sul servizio

Questo parser legge le pagine prodotto pubbliche di un concorrente e mette i prezzi in una tabella da confrontare con i suoi: nome del prodotto, codice, prezzo, prezzo precedente, sconto, disponibilità e link, con la data del controllo. Ci indichi il sito, i link a una categoria e a una pagina prodotto, i campi nell'ordine della sua tabella e una o due di quelle pagine salvate dal browser. Scriviamo il codice in Python sulla loro struttura reale, con un file di impostazioni e un README. Lo esegue lei sul suo computer ogni volta che vuole prezzi aggiornati, e la tabella arriva direttamente a lei. Legge solo pagine pubbliche a un ritmo discreto e non accede mai con login, non aggira captcha o protezioni e non raccoglie dati personali. È lei a valutare se le condizioni del sito lo consentono, e un successivo cambio di struttura richiede un aggiornamento.

Cosa è incluso

• Cosa riceveUn archivio ZIP con il codice Python, un file di impostazioni e un README con le istruzioni passo passo; il codice è visibile anche nella pagina dell'ordine.
• Colonne dei prezziPrezzo, prezzo precedente e sconto come numeri separati
• Codici per il confrontoIl codice o il codice a barre del concorrente, quando la pagina lo mostra
• Data di ogni controlloOgni riga riporta la data in cui è stata raccolta
• Ritmo discretoUna pausa tra le pagine che imposta lei
• Gira sul suo computerWindows, macOS o Linux; lo riavvii per avere prezzi aggiornati

Come funziona

1. 1
   PagineLei indica il sito del concorrente, una categoria e una pagina prodotto salvata
2. 2
   ParserScriviamo il codice su quelle pagine e la guida per eseguirlo
3. 3
   AvvioLo esegue e confronta le prime righe con il sito
4. 4
   ModificheChiede modifiche nei limiti del pacchetto e invia eventuali messaggi di errore

Cosa ci serve da lei

Il sito del concorrente e le pagine esatte: un link a una categoria e a una pagina prodotto, e circa quanti prodotti ci sono. I campi che le servono nell'ordine della sua tabella, es. nome, codice, prezzo, prezzo precedente, disponibilità, link. Una o due di quelle pagine salvate dal browser in HTML (File > Salva pagina con nome) o degli screenshot. CSV o Excel, e dove lo eseguirà.

Le chiederemo:

• Quale sito del concorrente e quali pagine?
• I campi che le servono
• Circa quanti prodotti?
• Ogni quanto lo eseguirà?

Confronto dei pacchetti

Domande e risposte

Non hai trovato la risposta? Chiedi a noi