Parser w Pythonie, który porównuje ceny tych samych produktów w 3 ogólnodostępnych sklepach internetowych w jednej tabeli

Przykładowy rezultat

def product_links(list_url: str) -> Iterator[str]:
    """Linki do stron produktów z każdej strony listy, z przejściem przez „Dalej”."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """Jedna ogólnodostępna strona, w spokojnym tempie: przerwa między zapytaniami i kilka prób przy błędach."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s odpowiedział kodem %s, próba %d z 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} nie otworzył się po 3 próbach")

O usłudze

Ten parser zestawia obok siebie ceny tych samych produktów z maksymalnie trzech ogólnodostępnych sklepów internetowych: jeden wiersz na produkt, z ceną, ceną przed obniżką, dostępnością i linkiem z każdego sklepu oraz datą sprawdzenia. Trzy sklepy obejmuje pakiet Premium; pakiety Podstawowy i Standard odczytują jeden sklep, na początek lub na próbę. Produkty są dopasowywane po kodzie, który pokazują sklepy, na przykład kodzie kreskowym lub numerze katalogowym producenta, albo po linkach, które podasz dla każdego produktu: same nazwy różnią się zbyt mocno, żeby bezpiecznie je dopasować. Prześlij strony sklepów, po jednej stronie produktu z każdego zapisanej z przeglądarki oraz swoją listę produktów. Dostajesz kod w Pythonie, plik ustawień i README i uruchamiasz go na swoim komputerze. Czyta ogólnodostępne strony w spokojnym tempie, nigdy się nie loguje ani nie obchodzi captchy czy zabezpieczeń i nie odczytuje Amazona ani Google. To Ty oceniasz, czy regulaminy sklepów na to pozwalają; późniejsza zmiana układu wymaga aktualizacji.

Co obejmuje usługa

• Co otrzymaszArchiwum ZIP z kodem w Pythonie, plikiem ustawień i plikiem README z instrukcją krok po kroku; kod widać też na stronie zamówienia.
• Jeden wiersz na produktCena, dostępność i link z każdego sklepu obok siebie
• Dopasowanie po kodzie lub Twoich linkachKod kreskowy, numer katalogowy producenta lub podane przez Ciebie linki
• Data sprawdzeniaW każdym wierszu, więc uruchomienia można porównywać
• Spokojne tempoPrzerwa między stronami ustawiana w ustawieniach
• Działa na Twoim komputerzeWindows, macOS lub Linux, z Pythonem

Jak to działa

1. 1
   SklepyPodajesz sklepy, zapisane strony produktów i swoją listę produktów
2. 2
   ParserPiszemy kod i instrukcję uruchomienia
3. 3
   UruchomienieUruchamiasz go i sprawdzasz kilka wierszy w każdym sklepie
4. 4
   ZmianyZgłaszasz poprawki w ramach pakietu i przesyłasz ewentualny komunikat o błędzie

Czego potrzebujemy od Ciebie

Trzy sklepy (lub jeden w pakietach Podstawowym i Standard) i po jednej stronie produktu z każdego, zapisanej z przeglądarki (Plik > Zapisz stronę jako). Twoja lista produktów z kodem, który pokazują sklepy, na przykład kodem kreskowym, albo tabela z linkiem do każdego produktu w każdym sklepie. Pola, których potrzebujesz dla każdego sklepu, np. cena, cena przed obniżką, dostępność, link. Mniej więcej liczba produktów. CSV, Excel czy JSON.

Zapytamy Cię:

• Które sklepy?
• Jak dopasować produkty
• Pola dla każdego sklepu
• Mniej więcej ile produktów?

Porównaj pakiety

Pytania i odpowiedzi

Nie ma tu odpowiedzi? Zapytaj nas