Een Python-parser die afbeeldingen uit een openbare catalogus in een map opslaat, genoemd naar de productcode, met een tabel

Voorbeeldresultaat

def product_links(list_url: str) -> Iterator[str]:
    """Product page links from every page of the list, following 'Next'."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """One open page, at a polite pace: a pause between requests and a few tries on errors."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s answered %s, try %d of 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} did not open after 3 tries")

Over deze dienst

Verhuis je je eigen catalogus naar een nieuwe webshop, of mag je de productfoto's van een leverancier gebruiken, dan slaat deze parser de afbeeldingen van openbare cataloguspagina's op in een map en geeft elk bestand de productcode als naam, met een tabel die code, productnaam, afbeeldingslink en bestandsnaam koppelt. Stuur de site, een categorie en een productpagina, een of twee pagina's opgeslagen vanuit je browser en hoe de bestanden moeten heten. Je krijgt Python-code, een instellingenbestand en een README en draait hem op je computer, dus de bestanden komen direct bij jou. Sla alleen afbeeldingen op die je mag gebruiken: je eigen, of die waarvoor de eigenaar toestemming geeft. Bestanden worden opgeslagen zoals de site ze levert. Hij leest openbare pagina's in een rustig tempo en logt nooit in en omzeilt geen captcha's of beveiliging. Jij bepaalt of de voorwaarden van de site het toestaan; een latere wijziging van de opmaak vraagt om een update.

Wat is inbegrepen

• Wat je krijgtEen ZIP-archief met de Python-code, een instellingenbestand en een README met stapsgewijze instructies; de code staat ook op de bestelpagina.
• Bestandsnamen zoals jij wiltOp productcode, met _1, _2, _3 voor extra foto's
• Een tabel erbijCode, productnaam, afbeeldingslink en bestandsnaam
• De grootste versieLinkt de pagina naar een grotere afbeelding, dan neemt hij die
• Rustig tempoEen pauze tussen pagina's, in te stellen in de instellingen
• Draait op je eigen computerWindows, macOS of Linux, met Python

Hoe het werkt

1. 1
   Pagina'sJe geeft de catalogus, een opgeslagen productpagina en de bestandsnamen
2. 2
   ParserWij schrijven de code en de handleiding om hem uit te voeren
3. 3
   StartenJe start hem en bekijkt de eerste map met afbeeldingen
4. 4
   WijzigingenJe vraagt binnen je pakket om wijzigingen en stuurt een eventuele foutmelding mee

Wat we van je nodig hebben

De site en de precieze pagina's: een link naar een categorie en naar één productpagina, en ongeveer hoeveel producten en afbeeldingen het zijn. Hoe de bestanden moeten heten, bijv. op productcode met _1, _2. De tabelvelden die je naast de bestandsnaam nodig hebt. Een of twee van die pagina's opgeslagen vanuit je browser (Bestand > Pagina opslaan als). En je bevestiging dat de afbeeldingen van jou zijn of dat de eigenaar je ze laat gebruiken.

We vragen je:

• Welke site en welke pagina's?
• Hoe moeten de bestanden heten?
• Ongeveer hoeveel afbeeldingen?
• Van wie zijn de afbeeldingen?

Pakketten vergelijken

Vragen en antwoorden

Staat je antwoord er niet bij? Vraag het ons