Parser stron internetowych w Pythonie, który zbiera publiczne dane ze stron do CSV lub Excela: ceny, katalogi, ogłoszenia

Przykładowy rezultat

def product_links(list_url: str) -> Iterator[str]:
    """Linki do stron produktów z każdej strony listy, z przejściem przez „Dalej”."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """Jedna ogólnodostępna strona, w spokojnym tempie: przerwa między zapytaniami i kilka prób przy błędach."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s odpowiedział kodem %s, próba %d z 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} nie otworzył się po 3 próbach")

O usłudze

Parser zbiera dane widoczne na publicznych stronach internetowych i zapisuje je jako tabelę: ceny i dostępność produktów, katalog dostawcy dla Twojego sklepu, ogłoszenia, oferty pracy, wydarzenia lub artykuły. Podaj stronę i podstrony, wypisz potrzebne pola (nazwa, cena, link, zdjęcie i tak dalej) i prześlij jedną lub dwie takie strony zapisane z przeglądarki (Plik > Zapisz stronę jako) albo ich zrzuty ekranu. Piszemy parser w Pythonie na podstawie rzeczywistej struktury tych stron, a on zapisuje wyniki jako CSV, Excel lub JSON. Dostajesz archiwum z kodem, plik ustawień z adresami i przerwą między stronami oraz README, które wyjaśnia, jak zainstalować Pythona i go uruchomić. Uruchamiasz parser na własnym komputerze, więc dane trafiają prosto do Ciebie; nie zbieramy ich za Ciebie ani nie przechowujemy. Czyta tylko ogólnodostępne strony, w spokojnym tempie, i nigdy się nie loguje, nie obchodzi captchy ani innych zabezpieczeń i nie zbiera danych osobowych, takich jak imiona i nazwiska, e-maile czy numery telefonów. Gdy strona zmieni układ, parser może wymagać aktualizacji. To, czy możesz zbierać i wykorzystywać dane strony zgodnie z jej regulaminem, jest Twoją odpowiedzialnością.

Co obejmuje usługa

• Co otrzymaszArchiwum ZIP z kodem w Pythonie, plikiem ustawień i plikiem README z instrukcją krok po kroku; kod widać też na stronie zamówienia.
• Twoje pola, Twoja tabelaKolumny w potrzebnej Ci kolejności
• Zbudowany na prawdziwych stronachNapisany według struktury przesłanych przez Ciebie stron
• Spokojne tempoPrzerwa między stronami ustawiana w ustawieniach
• Działa na Twoim komputerzeWindows, macOS lub Linux, z Pythonem
• Prosta instrukcjaCo zainstalować i jak uruchomić, krok po kroku

Jak to działa

1. 1
   StronyPodajesz stronę, pola i jedną lub dwie zapisane podstrony
2. 2
   ParserPiszemy kod i instrukcję uruchomienia
3. 3
   UruchomienieUruchamiasz go i sprawdzasz pierwsze wiersze tabeli
4. 4
   ZmianyZgłaszasz poprawki w ramach pakietu i przesyłasz ewentualny komunikat o błędzie

Czego potrzebujemy od Ciebie

Strona i konkretne podstrony: link do listy i do strony pozycji oraz mniej więcej liczba podstron. Pola, których potrzebujesz, w kolejności Twojej tabeli, z przykładem każdego. Jedna lub dwie takie strony zapisane z przeglądarki jako HTML (Plik > Zapisz stronę jako) lub zrzuty ekranu, żeby parser odpowiadał ich rzeczywistej strukturze. Plik z wynikami, którego potrzebujesz (CSV, Excel lub JSON), i gdzie będziesz go uruchamiać.

Zapytamy Cię:

• Która strona i które podstrony?
• Potrzebne pola
• Mniej więcej ile podstron?
• Plik z wynikami
• Co jeszcze ma robić

Porównaj pakiety

Pytania i odpowiedzi

Nie ma tu odpowiedzi? Zapytaj nas