Parser w Pythonie, który zbiera publiczne ceny konkurenta do tabeli: cena, stara cena, dostępność i link

Przykładowy rezultat

def product_links(list_url: str) -> Iterator[str]:
    """Linki do stron produktów z każdej strony listy, z przejściem przez „Dalej”."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """Jedna ogólnodostępna strona, w spokojnym tempie: przerwa między zapytaniami i kilka prób przy błędach."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s odpowiedział kodem %s, próba %d z 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} nie otworzył się po 3 próbach")

O usłudze

Ten parser odczytuje publiczne strony produktów konkurenta i zapisuje ich ceny w tabeli, którą możesz zestawić z własną: nazwa produktu, kod produktu, cena, stara cena, rabat, dostępność i link, z datą sprawdzenia. Podaj nam stronę, linki do kategorii i do strony produktu, pola w kolejności Twojej tabeli oraz jedną lub dwie takie strony zapisane z przeglądarki. Piszemy kod w Pythonie według ich rzeczywistej struktury, z plikiem ustawień i README. Uruchamiasz go na swoim komputerze, kiedy chcesz mieć świeże ceny, a tabela trafia prosto do Ciebie. Czyta tylko ogólnodostępne strony w spokojnym tempie i nigdy się nie loguje, nie obchodzi captchy ani zabezpieczeń i nie zbiera danych osobowych. To Ty oceniasz, czy regulamin strony na to pozwala, a późniejsza zmiana jej układu wymaga aktualizacji.

Co obejmuje usługa

• Co otrzymaszArchiwum ZIP z kodem w Pythonie, plikiem ustawień i plikiem README z instrukcją krok po kroku; kod widać też na stronie zamówienia.
• Kolumny cenCena, stara cena i rabat jako osobne liczby
• Kody do dopasowaniaKod konkurenta lub kod kreskowy, jeśli strona go pokazuje
• Data każdego sprawdzeniaKażdy wiersz ma datę zebrania danych
• Spokojne tempoUstalona przez Ciebie przerwa między stronami
• Działa na Twoim komputerzeWindows, macOS lub Linux; uruchom go ponownie po świeże ceny

Jak to działa

1. 1
   StronyPodajesz stronę konkurenta, kategorię i zapisaną stronę produktu
2. 2
   ParserPiszemy kod według tych stron i instrukcję uruchomienia
3. 3
   UruchomienieUruchamiasz go i porównujesz pierwsze wiersze ze stroną
4. 4
   ZmianyZgłaszasz poprawki w ramach pakietu i przesyłasz ewentualny komunikat o błędzie

Czego potrzebujemy od Ciebie

Strona konkurenta i konkretne podstrony: link do kategorii i do strony produktu oraz mniej więcej liczba produktów. Potrzebne pola w kolejności Twojej tabeli, np. nazwa, kod, cena, stara cena, dostępność, link. Jedna lub dwie takie strony zapisane z przeglądarki jako HTML (Plik > Zapisz stronę jako) lub zrzuty ekranu. CSV czy Excel i gdzie będziesz go uruchamiać.

Zapytamy Cię:

• Która strona konkurenta i które podstrony?
• Potrzebne pola
• Mniej więcej ile produktów?
• Jak często będziesz go uruchamiać?

Porównaj pakiety

Pytania i odpowiedzi

Nie ma tu odpowiedzi? Zapytaj nas