Ein Python-Parser, der jeden Artikel eines Blogs für ein Content-Audit auflistet: Titel, Datum, Wörter und Überschriften

Beispielergebnis

def product_links(list_url: str) -> Iterator[str]:
    """Links zu den Produktseiten von jeder Seite der Liste, dem Link „Weiter“ folgend."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """Eine öffentliche Seite in höflichem Tempo: eine Pause zwischen Anfragen und einige Versuche bei Fehlern."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s antwortete mit %s, Versuch %d von 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} ließ sich nach 3 Versuchen nicht öffnen")

Über diese Leistung

Bevor Sie alte Beiträge überarbeiten, zusammenführen oder löschen, brauchen Sie eine Liste dessen, was der Blog enthält. Dieser Parser durchläuft die öffentliche Artikelliste eines Blogs, öffnet jeden Beitrag und speichert eine Zeile: Link, Titel, Veröffentlichungs- und Aktualisierungsdatum, sofern angezeigt, Kategorie, Tags, Wortzahl, Anzahl der Zwischenüberschriften, Bilder und Links sowie die Meta-Beschreibung. Am besten funktioniert er mit Ihrem eigenen Blog, er kann aber auch den öffentlichen Blog eines Mitbewerbers lesen. Schicken Sie die Blogadresse, einen Artikel und ein oder zwei aus Ihrem Browser gespeicherte Seiten. Sie erhalten Python-Code mit einer Einstellungsdatei und einer README und starten ihn auf Ihrem Computer. Er liefert Fakten, keine Bewertungen, und verspricht keine Suchpositionen. Er liest öffentlich zugängliche Seiten in höflichem Tempo, meldet sich nie an, umgeht keine Captchas oder Schutzmaßnahmen und lässt Autorennamen weg. Ob die Nutzungsbedingungen einer Website das erlauben, entscheiden Sie; eine spätere Änderung des Aufbaus erfordert eine Aktualisierung.

Was enthalten ist

• Das erhalten SieEin ZIP-Archiv mit dem Python-Code, einer Einstellungsdatei und einer README mit Schritt-für-Schritt-Anleitung; der Code wird auch auf der Bestellseite angezeigt.
• Zahlen pro ArtikelWörter, Zwischenüberschriften, Bilder und Links
• Daten und KategorienVeröffentlicht, aktualisiert, Kategorie und Tags
• Titel und BeschreibungSo, wie sie in der Seite stehen, mit ihrer Länge
• Bereit für FilterIn Excel nach Datum oder Länge sortieren
• Höfliches TempoEine Pause zwischen den Seiten, in den Einstellungen festgelegt

So funktioniert es

1. 1
   BlogSie nennen die Blogadresse und einen gespeicherten Artikel
2. 2
   ParserWir schreiben den Code und die Anleitung zum Ausführen
3. 3
   StartSie starten ihn und prüfen die Zahlen von zwei oder drei Beiträgen
4. 4
   ÜberarbeitungenSie wünschen Überarbeitungen im Rahmen Ihres Pakets und schicken etwaige Fehlermeldungen

Was wir von Ihnen brauchen

Die Blogadresse und ein Link zu ihrer Artikelliste, ein Artikel und ungefähr wie viele Beiträge es gibt. Die benötigten Felder, z. B. Link, Titel, Datum, Kategorie, Tags, Wortzahl, Zwischenüberschriften, Meta-Beschreibung. Ein oder zwei dieser Seiten, aus Ihrem Browser gespeichert (Datei > Seite speichern unter). Ob es Ihr Blog oder ein anderer ist und CSV oder Excel.

Wir fragen Sie:

• Welcher Blog?
• Die benötigten Felder
• Ungefähr wie viele Artikel?
• Was er sonst noch tun soll

Pakete vergleichen

Fragen und Antworten

Keine Antwort gefunden? Fragen Sie uns