Parser w Pythonie, który wypisuje każdy artykuł bloga do audytu treści: tytuł, data, liczba słów i nagłówki

Przykładowy rezultat

def product_links(list_url: str) -> Iterator[str]:
    """Linki do stron produktów z każdej strony listy, z przejściem przez „Dalej”."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """Jedna ogólnodostępna strona, w spokojnym tempie: przerwa między zapytaniami i kilka prób przy błędach."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s odpowiedział kodem %s, próba %d z 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} nie otworzył się po 3 próbach")

O usłudze

Zanim przepiszesz, połączysz lub usuniesz stare wpisy, potrzebujesz listy tego, co jest na blogu. Ten parser przechodzi przez ogólnodostępną listę artykułów bloga, otwiera każdy wpis i zapisuje wiersz: link, tytuł, data publikacji i aktualizacji, jeśli jest pokazana, kategoria, tagi, liczba słów, liczba śródtytułów, obrazów i linków oraz opis meta. Najlepiej sprawdza się na Twoim własnym blogu, ale może też odczytać ogólnodostępny blog konkurenta. Prześlij adres bloga, jeden artykuł oraz jedną lub dwie strony zapisane z przeglądarki. Dostajesz kod w Pythonie, plik ustawień i README i uruchamiasz go na swoim komputerze. Podaje fakty, a nie oceny, i nie obiecuje pozycji w wyszukiwarce. Czyta ogólnodostępne strony w spokojnym tempie, nigdy się nie loguje ani nie obchodzi captchy czy zabezpieczeń i pomija nazwiska autorów. To Ty oceniasz, czy regulamin strony na to pozwala; późniejsza zmiana układu wymaga aktualizacji.

Co obejmuje usługa

• Co otrzymaszArchiwum ZIP z kodem w Pythonie, plikiem ustawień i plikiem README z instrukcją krok po kroku; kod widać też na stronie zamówienia.
• Liczby dla każdego artykułuSłowa, śródtytuły, obrazy i linki
• Daty i kategoriePublikacja, aktualizacja, kategoria i tagi
• Tytuł i opis metaTak, jak są zapisane na stronie, wraz z ich długością
• Gotowe do filtrówSortowanie według daty lub długości w Excelu
• Spokojne tempoPrzerwa między stronami ustawiana w ustawieniach

Jak to działa

1. 1
   BlogPodajesz adres bloga i jeden zapisany artykuł
2. 2
   ParserPiszemy kod i instrukcję uruchomienia
3. 3
   UruchomienieUruchamiasz go i sprawdzasz liczby dla dwóch lub trzech wpisów
4. 4
   ZmianyZgłaszasz poprawki w ramach pakietu i przesyłasz ewentualny komunikat o błędzie

Czego potrzebujemy od Ciebie

Adres bloga i link do jego listy artykułów, jeden artykuł oraz mniej więcej liczba wpisów. Pola, których potrzebujesz, np. link, tytuł, data, kategoria, tagi, liczba słów, śródtytuły, opis meta. Jedna lub dwie takie strony zapisane z przeglądarki (Plik > Zapisz stronę jako). Czy to Twój blog, czy inny, oraz CSV czy Excel.

Zapytamy Cię:

• Który blog?
• Potrzebne pola
• Mniej więcej ile artykułów?
• Co jeszcze ma robić

Porównaj pakiety

Pytania i odpowiedzi

Nie ma tu odpowiedzi? Zapytaj nas