Un parser Python che confronta i prezzi degli stessi prodotti in 3 negozi online pubblici in un'unica tabella

Esempio di risultato

def product_links(list_url: str) -> Iterator[str]:
    """Link alle pagine prodotto da ogni pagina dell'elenco, seguendo 'Avanti'."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """Una pagina pubblica, a un ritmo discreto: una pausa tra le richieste e qualche tentativo in caso di errore."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s ha risposto %s, tentativo %d di 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} non si è aperta dopo 3 tentativi")

Informazioni sul servizio

Questo parser mette a confronto i prezzi degli stessi prodotti di un massimo di tre negozi online pubblici: una riga per prodotto, con prezzo, prezzo precedente, disponibilità e link di ogni negozio, e la data del controllo. I tre negozi sono inclusi in Premium; Base e Standard leggono un solo negozio, come inizio o prova. I prodotti vengono abbinati tramite un codice che i negozi mostrano, come un codice a barre o il codice articolo del produttore, oppure tramite i link che elenca per ogni prodotto: i soli nomi differiscono troppo per un abbinamento sicuro. Ci invii i siti, una pagina prodotto di ciascuno salvata dal browser e il suo elenco di prodotti. Riceve il codice Python, un file di impostazioni e un README e lo esegue sul suo computer. Legge pagine pubbliche a un ritmo discreto, non accede mai con login né aggira captcha o protezioni, e non legge Amazon o Google. È lei a valutare se le condizioni dei negozi lo consentono; un successivo cambio di struttura richiede un aggiornamento.

Cosa è incluso

• Cosa riceveUn archivio ZIP con il codice Python, un file di impostazioni e un README con le istruzioni passo passo; il codice è visibile anche nella pagina dell'ordine.
• Una riga per prodottoPrezzo, disponibilità e link di ogni negozio affiancati
• Abbinati per codice o tramite i suoi linkCodice a barre, codice articolo del produttore o link che elenca
• Data del controlloIn ogni riga, così le esecuzioni si possono confrontare
• Ritmo discretoUna pausa tra le pagine, regolata nelle impostazioni
• Gira sul suo computerWindows, macOS o Linux, con Python

Come funziona

1. 1
   NegoziLei indica i negozi, le pagine prodotto salvate e il suo elenco di prodotti
2. 2
   ParserScriviamo il codice e la guida per eseguirlo
3. 3
   AvvioLo esegue e controlla alcune righe in ogni negozio
4. 4
   ModificheChiede modifiche nei limiti del pacchetto e invia eventuali messaggi di errore

Cosa ci serve da lei

I tre negozi (o uno, per Base e Standard) e una pagina prodotto di ciascuno, salvata dal browser (File > Salva pagina con nome). Il suo elenco di prodotti con il codice che i negozi mostrano, come un codice a barre, o una tabella con il link di ogni prodotto in ciascun negozio. I campi che le servono per negozio, es. prezzo, prezzo precedente, disponibilità, link. Circa quanti prodotti. CSV, Excel o JSON.

Le chiederemo:

• Quali negozi?
• Come abbinare i prodotti
• I campi per negozio
• Circa quanti prodotti?

Confronto dei pacchetti

Domande e risposte

Non hai trovato la risposta? Chiedi a noi