Een Python-parser voor openbare autoadvertenties: merk, bouwjaar, kilometerstand, prijs en stad in een tabel, zonder contactgegevens van verkopers

Voorbeeldresultaat

def product_links(list_url: str) -> Iterator[str]:
    """Product page links from every page of the list, following 'Next'."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """One open page, at a polite pace: a pause between requests and a few tries on errors."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s answered %s, try %d of 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} did not open after 3 tries")

Over deze dienst

Autobedrijven en autokopers gebruiken deze parser om de markt in één tabel te zien: merk, bouwjaar, kilometerstand, motor, versnellingsbak, carrosserie, brandstof, kleur, prijs, stad, plaatsingsdatum, link en links naar foto's uit openbare autoadvertenties. Stel de zoekopdracht in op de site (merk, bouwjaren, prijsklasse) en stuur die link, één advertentie en een of twee pagina's opgeslagen vanuit je browser. Wij schrijven de code in Python volgens die pagina's; je krijgt hem met een instellingenbestand en een README en start hem zelf zo vaak als je wilt. Gegevens van verkopers blijven erbuiten: geen namen, e-mailadressen of telefoonnummers, en geen kentekens of VIN. De parser leest openbare pagina's in een rustig tempo en logt nooit in en omzeilt geen captcha's of beveiliging. Of de voorwaarden van de site het toestaan, beslis jij, en een latere wijziging van de opmaak vraagt om een update.

Wat is inbegrepen

• Wat je krijgtEen ZIP-archief met de Python-code, een instellingenbestand en een README met stapsgewijze instructies; de code staat ook op de bestelpagina.
• De markt in één tabelSorteer in Excel op bouwjaar, kilometerstand of prijs
• Jouw zoeklinkMerk, bouwjaren en prijsklasse ingesteld op de site
• Geen gegevens van verkopersGeen namen, telefoonnummers, kentekens of VIN
• Kilometerstand als getalKlaar voor filters en gemiddelden
• Draait op je eigen computerWindows, macOS of Linux, met Python

Hoe het werkt

1. 1
   ZoekopdrachtJe stuurt een zoeklink en één opgeslagen advertentie
2. 2
   ParserWij schrijven de code en de handleiding om hem uit te voeren
3. 3
   StartenJe start hem en controleert een paar auto's tegen de site
4. 4
   WijzigingenJe vraagt binnen je pakket om wijzigingen en stuurt een eventuele foutmelding mee

Wat we van je nodig hebben

De autosite en een link naar een zoekopdracht met je filters, één advertentiepagina en ongeveer hoeveel auto's de zoekopdracht toont. De velden die je nodig hebt in de volgorde van je tabel, bijv. merk, bouwjaar, kilometerstand, motor, versnellingsbak, prijs, stad, link. Een of twee van die pagina's opgeslagen vanuit je browser (Bestand > Pagina opslaan als) of screenshots. CSV of Excel, en hoe vaak je hem gaat starten.

We vragen je:

• Welke site en zoekopdracht?
• De velden die je nodig hebt
• Ongeveer hoeveel auto's?
• Wat moet hij nog meer doen?

Pakketten vergelijken

Vragen en antwoorden

Staat je antwoord er niet bij? Vraag het ons