Een Python-parser voor openbare woningadvertenties: prijs, oppervlakte, kamers, wijk en link in een tabel, zonder contactgegevens

Voorbeeldresultaat

def product_links(list_url: str) -> Iterator[str]:
    """Product page links from every page of the list, following 'Next'."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """One open page, at a polite pace: a pause between requests and a few tries on errors."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s answered %s, try %d of 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} did not open after 3 tries")

Over deze dienst

Voor een makelaarskantoor, een belegger of een koper verzamelt deze parser openbare woningadvertenties in één tabel: type, prijs, prijs per vierkante meter als die getoond wordt, oppervlakte, kamers, verdieping, stad en wijk, straat zoals de advertentie die geeft, plaatsingsdatum, link en links naar foto's. Stel op de site de zoekopdracht in met je filters en stuur ons die link, één advertentie en een of twee pagina's opgeslagen vanuit je browser. Je krijgt Python-code, een instellingenbestand en een README, en je draait hem op je computer. Gegevens van mensen blijven erbuiten: geen namen, e-mailadressen of telefoonnummers van eigenaren of makelaars, alleen de link naar de advertentie. Hij leest openbare pagina's in een rustig tempo en logt nooit in en omzeilt geen captcha's of beveiliging. Jij bepaalt of de voorwaarden van de site het toestaan, en een latere wijziging van de opmaak vraagt om een update.

Wat is inbegrepen

• Wat je krijgtEen ZIP-archief met de Python-code, een instellingenbestand en een README met stapsgewijze instructies; de code staat ook op de bestelpagina.
• Jouw zoekopdracht, jouw filtersBegint bij een zoeklink die je op de site instelt
• Getallen om te sorterenPrijs, oppervlakte en verdieping in aparte kolommen
• Geen contactgegevensNamen en telefoonnummers van verkopers en makelaars worden weggelaten
• Links naar foto'sLinks naar de foto's van de advertentie, niet de bestanden
• Rustig tempoEen pauze tussen pagina's, in te stellen in de instellingen

Hoe het werkt

1. 1
   ZoekopdrachtJe stelt de zoekopdracht in en stuurt de link en een opgeslagen advertentie
2. 2
   ParserWij schrijven de code en de handleiding om hem uit te voeren
3. 3
   StartenJe start hem en controleert de eerste rijen tegen de site
4. 4
   WijzigingenJe vraagt binnen je pakket om wijzigingen en stuurt een eventuele foutmelding mee

Wat we van je nodig hebben

De woningsite en een link naar een zoekopdracht met je filters (stad, type, prijsklasse), één advertentiepagina en ongeveer hoeveel advertenties de zoekopdracht toont. De velden die je nodig hebt in de volgorde van je tabel, bijv. type, prijs, oppervlakte, kamers, verdieping, wijk, plaatsingsdatum, link. Een of twee van die pagina's opgeslagen vanuit je browser (Bestand > Pagina opslaan als) of screenshots. CSV of Excel.

We vragen je:

• Welke site en zoekopdracht?
• De velden die je nodig hebt
• Ongeveer hoeveel advertenties?
• Wat moet hij nog meer doen?

Pakketten vergelijken

Vragen en antwoorden

Staat je antwoord er niet bij? Vraag het ons