Un parser Python che salva in una cartella le immagini di un catalogo pubblico, nominate per codice prodotto, con una tabella

Esempio di risultato

def product_links(list_url: str) -> Iterator[str]:
    """Link alle pagine prodotto da ogni pagina dell'elenco, seguendo 'Avanti'."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """Una pagina pubblica, a un ritmo discreto: una pausa tra le richieste e qualche tentativo in caso di errore."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s ha risposto %s, tentativo %d di 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} non si è aperta dopo 3 tentativi")

Informazioni sul servizio

Quando trasferisce il suo catalogo in un nuovo negozio, o un fornitore le permette di usare le sue foto prodotto, questo parser salva in una cartella le immagini delle pagine pubbliche del catalogo e nomina ogni file con il codice prodotto, con una tabella che collega codice, nome del prodotto, link all'immagine e nome del file. Ci invii il sito, una categoria e una pagina prodotto, una o due pagine salvate dal browser e come chiamare i file. Riceve il codice Python, un file di impostazioni e un README e lo esegue sul suo computer, così i file arrivano direttamente a lei. Salvi solo immagini che può usare: le sue o quelle che il proprietario consente. I file vengono salvati come li fornisce il sito. Legge pagine pubbliche a un ritmo discreto e non accede mai con login né aggira captcha o protezioni. È lei a valutare se le condizioni del sito lo consentono; un successivo cambio di struttura richiede un aggiornamento.

Cosa è incluso

• Cosa riceveUn archivio ZIP con il codice Python, un file di impostazioni e un README con le istruzioni passo passo; il codice è visibile anche nella pagina dell'ordine.
• File nominati come preferiscePer codice prodotto, con _1, _2, _3 per le foto aggiuntive
• Una tabella di accompagnamentoCodice, nome del prodotto, link all'immagine e nome del file
• La versione più grandeSe la pagina rimanda a un'immagine più grande, prende quella
• Ritmo discretoUna pausa tra le pagine, regolata nelle impostazioni
• Gira sul suo computerWindows, macOS o Linux, con Python

Come funziona

1. 1
   PagineLei indica il catalogo, una pagina prodotto salvata e i nomi dei file
2. 2
   ParserScriviamo il codice e la guida per eseguirlo
3. 3
   AvvioLo esegue e controlla la prima cartella di immagini
4. 4
   ModificheChiede modifiche nei limiti del pacchetto e invia eventuali messaggi di errore

Cosa ci serve da lei

Il sito e le pagine esatte: un link a una categoria e a una pagina prodotto, e circa quanti prodotti e immagini ci sono. Come chiamare i file, es. per codice prodotto con _1, _2. I campi della tabella che le servono oltre al nome del file. Una o due di quelle pagine salvate dal browser (File > Salva pagina con nome). E la sua conferma che le immagini sono sue o che il proprietario le permette di usarle.

Le chiederemo:

• Quale sito e quali pagine?
• Come chiamare i file
• Circa quante immagini?
• Di chi sono le immagini?

Confronto dei pacchetti

Domande e risposte

Non hai trovato la risposta? Chiedi a noi