Parser w Pythonie, który zapisuje zdjęcia z ogólnodostępnego katalogu do folderu, nazwane kodem produktu, wraz z tabelą

Przykładowy rezultat

def product_links(list_url: str) -> Iterator[str]:
    """Linki do stron produktów z każdej strony listy, z przejściem przez „Dalej”."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """Jedna ogólnodostępna strona, w spokojnym tempie: przerwa między zapytaniami i kilka prób przy błędach."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s odpowiedział kodem %s, próba %d z 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} nie otworzył się po 3 próbach")

O usłudze

Gdy przenosisz własny katalog do nowego sklepu albo dostawca pozwala Ci korzystać ze swoich zdjęć produktów, ten parser zapisuje zdjęcia z ogólnodostępnych stron katalogu do folderu i nazywa każdy plik kodem produktu, a do tego tworzy tabelę łączącą kod, nazwę produktu, link do zdjęcia i nazwę pliku. Prześlij stronę, kategorię i stronę produktu, jedną lub dwie strony zapisane z przeglądarki oraz sposób nazywania plików. Dostajesz kod w Pythonie, plik ustawień i README i uruchamiasz go na swoim komputerze, więc pliki trafiają prosto do Ciebie. Zapisuj tylko zdjęcia, z których możesz korzystać: własne lub te, na które pozwala właściciel. Pliki są zapisywane w takiej postaci, w jakiej udostępnia je strona. Czyta ogólnodostępne strony w spokojnym tempie i nigdy się nie loguje ani nie obchodzi captchy czy zabezpieczeń. To Ty oceniasz, czy regulamin strony na to pozwala; późniejsza zmiana układu wymaga aktualizacji.

Co obejmuje usługa

• Co otrzymaszArchiwum ZIP z kodem w Pythonie, plikiem ustawień i plikiem README z instrukcją krok po kroku; kod widać też na stronie zamówienia.
• Pliki nazwane po TwojemuKodem produktu, z _1, _2, _3 dla kolejnych zdjęć
• Tabela do kompletuKod, nazwa produktu, link do zdjęcia i nazwa pliku
• Największa wersjaGdy strona prowadzi do większego zdjęcia, pobiera właśnie je
• Spokojne tempoPrzerwa między stronami ustawiana w ustawieniach
• Działa na Twoim komputerzeWindows, macOS lub Linux, z Pythonem

Jak to działa

1. 1
   StronyPodajesz katalog, zapisaną stronę produktu i nazwy plików
2. 2
   ParserPiszemy kod i instrukcję uruchomienia
3. 3
   UruchomienieUruchamiasz go i przeglądasz pierwszy folder ze zdjęciami
4. 4
   ZmianyZgłaszasz poprawki w ramach pakietu i przesyłasz ewentualny komunikat o błędzie

Czego potrzebujemy od Ciebie

Strona i konkretne podstrony: link do kategorii i do jednej strony produktu oraz mniej więcej liczba produktów i zdjęć. Jak nazywać pliki, np. kodem produktu z _1, _2. Pola tabeli, których potrzebujesz oprócz nazwy pliku. Jedna lub dwie takie strony zapisane z przeglądarki (Plik > Zapisz stronę jako). I Twoje potwierdzenie, że zdjęcia są Twoje albo że właściciel pozwala Ci z nich korzystać.

Zapytamy Cię:

• Która strona i jakie podstrony?
• Jak nazywać pliki
• Mniej więcej ile zdjęć?
• Czyje to zdjęcia?

Porównaj pakiety

Pytania i odpowiedzi

Nie ma tu odpowiedzi? Zapytaj nas