Een Python-parser die openbare productreviews in een tabel verzamelt: alleen tekst, beoordeling en datum, geen namen

Voorbeeldresultaat

def product_links(list_url: str) -> Iterator[str]:
    """Product page links from every page of the list, following 'Next'."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """One open page, at a polite pace: a pause between requests and a few tries on errors."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s answered %s, try %d of 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} did not open after 3 tries")

Over deze dienst

Om te zien wat kopers goed en minder goed vinden aan jouw producten of die van een concurrent, verzamelt deze parser openbare reviews in een tabel: het product en de link, en per review alleen de tekst, de beoordeling en de datum. Namen, bijnamen, foto's en profiellinks van reviewers worden weggelaten, dus de tabel bevat geen persoonsgegevens. Stuur de site van de winkel, een productpagina met reviews en een of twee pagina's opgeslagen vanuit je browser; openen reviews met een knop "meer tonen", dan volgt de parser die. Je krijgt Python-code, een instellingenbestand en een README en draait hem op je computer. Hij leest geen Amazon, Google, LinkedIn of sociale netwerken, logt nooit in, omzeilt geen captcha's of beveiliging en houdt een rustig tempo aan. Jij bepaalt of de voorwaarden van de site het toestaan; een latere wijziging van de opmaak vraagt om een update.

Wat is inbegrepen

• Wat je krijgtEen ZIP-archief met de Python-code, een instellingenbestand en een README met stapsgewijze instructies; de code staat ook op de bestelpagina.
• Drie feiten per reviewTekst, beoordeling en datum, niets over de persoon
• Gekoppeld aan het productElke reviewrij bevat de productnaam en link
• Alle reviewpagina'sVolgt "meer tonen" en de reviewpagina's
• Rustig tempoEen pauze tussen pagina's, in te stellen in de instellingen
• Draait op je eigen computerWindows, macOS of Linux, met Python

Hoe het werkt

1. 1
   Pagina'sJe geeft de winkel, de producten en een opgeslagen pagina met reviews
2. 2
   ParserWij schrijven de code en de handleiding om hem uit te voeren
3. 3
   StartenJe start hem en controleert het aantal reviews van één product
4. 4
   WijzigingenJe vraagt binnen je pakket om wijzigingen en stuurt een eventuele foutmelding mee

Wat we van je nodig hebben

De site van de winkel en de precieze pagina's: een lijst met productlinks of een link naar een categorie, en ongeveer hoeveel producten en reviews het zijn. De productvelden die je naast de reviewtekst, beoordeling en datum nodig hebt, bijv. productnaam, code, link, gemiddelde beoordeling. Een of twee pagina's met reviews opgeslagen vanuit je browser (Bestand > Pagina opslaan als) of screenshots. CSV of Excel.

We vragen je:

• Welke winkel en welke producten?
• Productvelden
• Ongeveer hoeveel reviews?
• Alleen bepaalde reviews?

Pakketten vergelijken

Vragen en antwoorden

Staat je antwoord er niet bij? Vraag het ons