Een Python-parser die controleert of producten op voorraad zijn op een openbare site en elke status met de datum opslaat

Voorbeeldresultaat

def product_links(list_url: str) -> Iterator[str]:
    """Product page links from every page of the list, following 'Next'."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """One open page, at a polite pace: a pause between requests and a few tries on errors."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s answered %s, try %d of 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} did not open after 3 tries")

Over deze dienst

Elke keer dat je hem start, controleert deze parser welke producten op voorraad zijn op een openbare site, zoals die van je leverancier of een winkel waarvan je de artikelen doorverkoopt, en slaat hij een tabel op: naam, code, status zoals de pagina die schrijft, resterende hoeveelheid als die getoond wordt, levertijd, prijs, link, en de datum en tijd van de controle. Bewaar het bestand van elke run, dan zie je wat er terugkwam en wat er uitverkocht raakte. Stuur de site, links naar een categorie en een productpagina, de statussen die de site gebruikt en een of twee pagina's opgeslagen vanuit je browser. Je krijgt Python-code, een instellingenbestand en een README en draait hem op je computer. Hij leest alleen openbare pagina's in een rustig tempo en logt nooit in, omzeilt geen captcha's of beveiliging en verzamelt geen persoonsgegevens. Jij bepaalt of de voorwaarden van de site het toestaan; een latere wijziging van de opmaak vraagt om een update.

Wat is inbegrepen

• Wat je krijgtEen ZIP-archief met de Python-code, een instellingenbestand en een README met stapsgewijze instructies; de code staat ook op de bestelpagina.
• Status als kolomDe woorden van de site, of je eigen labels zoals ja / nee / in bestelling
• Hoeveelheid als die getoond wordtAls de pagina laat zien hoeveel er nog zijn
• Gedateerde rijenDatum en tijd van de controle in elke rij
• Rustig tempoEen pauze tussen pagina's, in te stellen in de instellingen
• Draait op je eigen computerWindows, macOS of Linux, met Python

Hoe het werkt

1. 1
   Pagina'sJe geeft de site, de producten en de statussen die de site gebruikt
2. 2
   ParserWij schrijven de code en de handleiding om hem uit te voeren
3. 3
   Eerste controleJe start hem en vergelijkt een paar statussen met de site
4. 4
   WijzigingenJe vraagt binnen je pakket om wijzigingen en stuurt een eventuele foutmelding mee

Wat we van je nodig hebben

De site en de precieze pagina's: een link naar een categorie en naar een productpagina, of je lijst met productlinks, en ongeveer hoeveel producten. De voorraadstatussen die de site toont, geschreven zoals ze verschijnen. De velden die je naast de status nodig hebt, bijv. code, prijs, levertijd. Een of twee pagina's opgeslagen vanuit je browser (Bestand > Pagina opslaan als) of screenshots, het liefst één op voorraad en één niet op voorraad. Hoe vaak je hem wilt starten.

We vragen je:

• Welke site en welke producten?
• De voorraadstatussen
• Andere velden
• Hoe vaak ga je controleren?

Pakketten vergelijken

Vragen en antwoorden

Staat je antwoord er niet bij? Vraag het ons