Parser w Pythonie, który sprawdza, czy produkty są dostępne na ogólnodostępnej stronie, i zapisuje każdy status z datą

Przykładowy rezultat

def product_links(list_url: str) -> Iterator[str]:
    """Linki do stron produktów z każdej strony listy, z przejściem przez „Dalej”."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """Jedna ogólnodostępna strona, w spokojnym tempie: przerwa między zapytaniami i kilka prób przy błędach."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s odpowiedział kodem %s, próba %d z 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} nie otworzył się po 3 próbach")

O usłudze

Przy każdym uruchomieniu ten parser sprawdza, które produkty są dostępne na ogólnodostępnej stronie, na przykład u Twojego dostawcy albo w sklepie, którego towary odsprzedajesz, i zapisuje tabelę: nazwa, kod, status w brzmieniu ze strony, pozostała liczba sztuk, jeśli jest pokazana, czas dostawy, cena, link oraz data i godzina sprawdzenia. Zachowuj plik z każdego uruchomienia, a zobaczysz, co wróciło, a co się skończyło. Prześlij stronę, linki do kategorii i strony produktu, statusy, których używa strona, oraz jedną lub dwie strony zapisane z przeglądarki. Dostajesz kod w Pythonie, plik ustawień i README i uruchamiasz go na swoim komputerze. Czyta tylko ogólnodostępne strony w spokojnym tempie i nigdy się nie loguje, nie obchodzi captchy ani zabezpieczeń i nie zbiera danych osobowych. To Ty oceniasz, czy regulamin strony na to pozwala; późniejsza zmiana jej układu wymaga aktualizacji.

Co obejmuje usługa

• Co otrzymaszArchiwum ZIP z kodem w Pythonie, plikiem ustawień i plikiem README z instrukcją krok po kroku; kod widać też na stronie zamówienia.
• Status jako kolumnaSłowa ze strony albo Twoje własne etykiety, np. tak / nie / na zamówienie
• Liczba sztuk, gdy jest pokazanaGdy strona pokazuje, ile zostało
• Wiersze z datąData i godzina sprawdzenia w każdym wierszu
• Spokojne tempoPrzerwa między stronami ustawiana w ustawieniach
• Działa na Twoim komputerzeWindows, macOS lub Linux, z Pythonem

Jak to działa

1. 1
   StronyPodajesz stronę, produkty i statusy, których używa
2. 2
   ParserPiszemy kod i instrukcję uruchomienia
3. 3
   Pierwsze sprawdzenieUruchamiasz go i porównujesz kilka statusów ze stroną
4. 4
   ZmianyZgłaszasz poprawki w ramach pakietu i przesyłasz ewentualny komunikat o błędzie

Czego potrzebujemy od Ciebie

Strona i konkretne podstrony: link do kategorii i do strony produktu albo Twoja lista linków do produktów oraz mniej więcej liczba produktów. Statusy dostępności, które pokazuje strona, zapisane tak, jak się pojawiają. Pola, których potrzebujesz oprócz statusu, np. kod, cena, czas dostawy. Jedna lub dwie strony zapisane z przeglądarki (Plik > Zapisz stronę jako) lub zrzuty ekranu, najlepiej jedna z produktem dostępnym, a jedna z niedostępnym. Jak często planujesz go uruchamiać.

Zapytamy Cię:

• Która strona i jakie produkty?
• Statusy dostępności
• Inne pola
• Jak często będziesz sprawdzać?

Porównaj pakiety

Pytania i odpowiedzi

Nie ma tu odpowiedzi? Zapytaj nas