Ein Python-Parser für einen öffentlichen Online-Kurskatalog: Titel, Anbieter, Preis, Dauer und Format in einer Tabelle

Beispielergebnis

def product_links(list_url: str) -> Iterator[str]:
    """Links zu den Produktseiten von jeder Seite der Liste, dem Link „Weiter“ folgend."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """Eine öffentliche Seite in höflichem Tempo: eine Pause zwischen Anfragen und einige Versuche bei Fehlern."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s antwortete mit %s, Versuch %d von 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} ließ sich nach 3 Versuchen nicht öffnen")

Über diese Leistung

Online-Schulen, Kursportale und alle, die Weiterbildungen vergleichen, nutzen diesen Parser, um einen öffentlichen Kurskatalog in eine Tabelle zu übertragen: Kurstitel, Anbieter, Thema, Niveau, Format, Dauer, Startdatum, Preis und alter Preis, Anzahl der Lektionen, Bewertung wie angezeigt und Link. Schicken Sie die Katalogseite, eine Kursseite und ein oder zwei aus Ihrem Browser gespeicherte Seiten. Sie erhalten Python-Code mit einer Einstellungsdatei und einer README und starten ihn auf Ihrem Computer. Er übernimmt, was auf den Seiten steht; er beurteilt nicht die Qualität der Kurse und verspricht keine Lernergebnisse. Namen der Lehrenden und Bewertungen von Teilnehmenden werden weggelassen, sodass die Tabelle keine personenbezogenen Daten enthält. Er liest öffentlich zugängliche Seiten in höflichem Tempo, meldet sich nie an und umgeht keine Captchas oder Schutzmaßnahmen. Ob die Nutzungsbedingungen der Website das erlauben, entscheiden Sie; eine spätere Änderung ihres Aufbaus erfordert eine Aktualisierung.

Was enthalten ist

• Das erhalten SieEin ZIP-Archiv mit dem Python-Code, einer Einstellungsdatei und einer README mit Schritt-für-Schritt-Anleitung; der Code wird auch auf der Bestellseite angezeigt.
• Preise zum VergleichenPreis, alter Preis und Ratenzahlung in eigenen Spalten
• Dauer und FormatWochen oder Stunden, live oder aufgezeichnet, wie es auf der Seite steht
• Thema und NiveauIn eigenen Spalten für Filter
• Höfliches TempoEine Pause zwischen den Seiten, in den Einstellungen festgelegt
• Läuft auf Ihrem ComputerWindows, macOS oder Linux, mit Python

So funktioniert es

1. 1
   KatalogSie nennen den Katalog und eine gespeicherte Kursseite
2. 2
   ParserWir schreiben den Code und die Anleitung zum Ausführen
3. 3
   StartSie starten ihn und prüfen einige Kurse anhand der Website
4. 4
   ÜberarbeitungenSie wünschen Überarbeitungen im Rahmen Ihres Pakets und schicken etwaige Fehlermeldungen

Was wir von Ihnen brauchen

Die Website und die genauen Seiten: ein Link zum Kurskatalog und zu einer Kursseite und ungefähr wie viele Kurse es gibt. Die Felder in der Reihenfolge Ihrer Tabelle, z. B. Titel, Anbieter, Thema, Niveau, Format, Dauer, Startdatum, Preis, alter Preis, Link. Ein oder zwei dieser Seiten, aus Ihrem Browser gespeichert (Datei > Seite speichern unter), oder Screenshots. CSV oder Excel.

Wir fragen Sie:

• Welche Website und welche Seiten?
• Die benötigten Felder
• Ungefähr wie viele Kurse?
• Nur bestimmte Kurse?

Pakete vergleichen

Fragen und Antworten

Keine Antwort gefunden? Fragen Sie uns