Parser cenGotowe rozwiązania

Gotowy parser w Pythonie cen produktów z otwartego sklepu internetowego: nazwa, cena, stara cena, dostępność i link

Zwykle gotowe w ok. 15 minutPoprawki w cenieKontrola jakości
Pakiety
Ochrona płatnościSzczegóły
  • Poprawki w ramach pakietu są bezpłatne.
  • Jeśli nie odpowiesz w ciągu 3 dni od dostarczenia pracy, zostanie ona zaakceptowana automatycznie.

Pieniądze są rezerwowane w chwili płatności i przekazywane dopiero po akceptacji pracy.

Gotowy parser w Pythonie cen produktów z otwartego sklepu internetowego: nazwa, cena, stara cena, dostępność i link

Przykładowy rezultat

Przykład dla pakietu Standard

Parser katalogu dostawcy narzędzi ogrodowych do Excela

Jak wygląda wynik

IndeksNazwaCenaDostępnyWagaZdjęcie
GT-1042Sekator, 20 mm18,90Tak0,24 kg…/gt-1042.jpg
GT-1187Piła składana, 210 mm24,50Tak0,31 kg…/gt-1187.jpg
GT-2210Nożyce do żywopłotu, ostrza faliste39,00Nie1,10 kg…/gt-2210.jpg
GT-3305Łopatka ogrodowa, nierdzewna9,80Tak0,18 kg…/gt-3305.jpg
GT-4120Wąż ogrodowy 25 m, 1/2"42,00Tak2,90 kg…/gt-4120.jpg

Plik w przykładzie zawiera 1236 produktów z 52 stron listy.

Fragment kodu

def product_links(list_url: str) -> Iterator[str]:
    """Linki do stron produktów z każdej strony listy, z przejściem przez „Dalej”."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """Jedna ogólnodostępna strona, w spokojnym tempie: przerwa między zapytaniami i kilka prób przy błędach."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s odpowiedział kodem %s, próba %d z 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} nie otworzył się po 3 próbach")

Pliki: archiwum ZIP z plikami scraper.py, settings.ini (strona startowa, przerwa między zapytaniami, nazwa pliku), requirements.txt oraz README o instalacji i uruchomieniu. Parser czyta tylko ogólnodostępne strony, jedną co 2 sekundy, i najpierw sprawdza plik robots.txt strony. Klient uruchamia go na własnym komputerze.

Klient: internetowy sklep ogrodniczy, który odsprzedaje narzędzia dostawcy; dostawca ma na swojej stronie ogólnodostępny katalog, ale nie udostępnia pliku z cennikiem. Zadanie: przejść przez strony listy w katalogu, otworzyć każdą stronę produktu i zapisać do Excela indeks, nazwę, cenę, dostępność, wagę i link do głównego zdjęcia, żeby raz w tygodniu porównywać ceny.

Klient i wszystkie dane są wymyślone.

O usłudze

Gotowy parser cen: typowy parser w Pythonie, już dopracowany pod katalogi sklepów i dopasowany do stron otwartego sklepu internetowego, który wskażesz. Zbiera to, co widzi każdy odwiedzający: nazwę produktu, cenę, starą cenę, czy jest dostępny, kod produktu, kategorię i link, i zapisuje je w tabeli z datą uruchomienia, więc możesz śledzić ceny w czasie lub porównywać je z własnym asortymentem. Przesyłasz linki do kategorii i strony produktu, ich zapisane kopie i potrzebne pola. Uruchamiasz parser na własnym komputerze, więc dane trafiają prosto do Ciebie. Czyta tylko otwarte strony w grzecznym tempie, nigdy się nie loguje i nie omija captch ani zabezpieczeń, a pomija opinie i wszystko inne z imionami czy kontaktami osób. Ceny widoczne dopiero po zalogowaniu lub tylko w aplikacji są poza jego zasięgiem. To, czy wolno Ci zbierać dane zgodnie z regulaminem sklepu, jest Twoją decyzją.

Co obejmuje usługa

  • Co dostajeszArchiwum ZIP z gotowym parserem cen w Pythonie, plikiem ustawień z adresami i pauzą między stronami oraz README; kod jest też pokazany na stronie zamówienia.
  • Gotowe pola cenNazwa, cena, stara cena, dostępność, kod, link
  • Wiersze z datąKażde uruchomienie oznaczone, by śledzić ceny w czasie
  • Całe kategoriePrzez każdą stronę listy, od pakietu Standard
  • Grzeczne tempoPauza między stronami, ustawiana w ustawieniach
  • Prosty przewodnikInstalacja Pythona i uruchomienie krok po kroku

Jak to działa

  1. 1
    StronyPodajesz sklep, pola i jedną lub dwie zapisane strony
  2. 2
    KonfiguracjaDopasowujemy gotowy parser do tych stron i piszemy przewodnik
  3. 3
    UruchomienieUruchamiasz go i sprawdzasz pierwsze wiersze tabeli
  4. 4
    ZmianyProsisz o zmiany w ramach pakietu i przesyłasz komunikat o błędzie

Czego potrzebujemy od Ciebie

Otwarty sklep internetowy i dokładne strony: link do kategorii i do jednej strony produktu oraz mniej więcej ile jest produktów. Potrzebne pola, w kolejności Twojej tabeli, na przykład nazwa, cena, stara cena, dostępność, kod produktu i link. Jedna lub dwie z tych stron zapisane z przeglądarki (Plik > Zapisz stronę jako) lub zrzuty ekranu. Plik wyników: CSV, Excel lub, w pakiecie Premium, JSON. W pakiecie Premium inne sklepy i jak często uruchamiać.

Zapytamy Cię:

  • Jaki sklep i jakie strony?
  • Potrzebne pola
  • Mniej więcej ile produktów?
  • Plik wyników i jak często

Porównaj pakiety

PakietyPodstawowy61 złStandard121 złPremium219 zł
Co obejmuje usługaCeny ze stron produktówCała kategoriaDo 3 sklepów
Termin1 dzień2 dni3 dni
Poprawki123
Strony11do 3
Rodzaje stron12 (lista i pozycja)do 3
Polado 10do 25do 25 na każdej
Przechodzi przez strony listyNieTakTak
Plik wynikówCSVExcel lub CSVExcel, CSV lub JSON
Usuwa duplikaty, wznawia od miejsca przerwaniaNieNieTak
Wersja gotowaCeny produktówCeny produktówCeny produktów
Zamów PodstawowyZamów StandardZamów Premium

Ochrona płatności

Płacisz przy składaniu zamówienia, ale pieniądze są przekazywane tylko za zaakceptowaną pracę.

  • Stała cenaCena pakietu nie zmienia się po zapłacie.
  • Pieniądze są zarezerwowanePrzy płatności kwota jest tylko rezerwowana. Serwis otrzymuje ją dopiero po akceptacji pracy.
  • Sprawdzone przed dostarczeniemKażdy wynik przechodzi kontrolę jakości, zanim do Ciebie trafi, a przed akceptacją widzisz go na stronie zamówienia.
  • Bezpłatne poprawkiProś o poprawki w ramach briefu tyle razy, ile przewiduje pakiet.
  • Akceptacja po 3 dniachJeśli w ciągu 3 dni od dostarczenia pracy ani jej nie zaakceptujesz, ani nie poprosisz o poprawki, zostanie zaakceptowana automatycznie. Jeśli po dostarczeniu napiszesz na czacie zamówienia, zamówienie czeka; po naszej odpowiedzi możemy ponownie uruchomić odliczanie 3 dni i poinformujemy o tym na czacie.
  • Ponowne wykonanie lub pełny zwrot pieniędzyJeśli wynik nie odpowiada Twojemu briefowi, a poprawki tego nie naprawiły, lub praca trwa ponad dwa razy dłużej niż termin, napisz na czacie zamówienia: wykonamy pracę ponownie albo zwrócimy całą płatność.
Jak to działa →

Pytania i odpowiedzi

Czy może zbierać ceny z dużych platform sprzedażowych?

Zwykle nie: ich regulaminy tego zabraniają, wiele stron wymaga logowania i stosują zabezpieczenia, których parser nie omija. Pasuje do otwartych stron sklepów, które pokazują ceny każdemu odwiedzającemu.

Czy zbierzecie ceny za mnie?

Nie. Parser uruchamiasz sam, więc wyniki trafiają prosto do Ciebie i możesz go uruchomić ponownie, kiedy potrzebujesz świeżych cen.

A jeśli strona zmieni układ?

Parser działa na stronach takich, jakie są teraz. Po zmianie wyglądu strony wymaga aktualizacji, czyli nowego zamówienia. Czyta w grzecznym tempie i nie omija limitów ustawionych przez stronę.

Czy wolno mi zbierać te dane?

Zbieranie publicznych danych jest w wielu przypadkach dozwolone, ale regulaminy stron i przepisy o danych różnią się między krajami, więc to Ty decydujesz, czy możesz je zbierać i wykorzystywać. Parser nigdy się nie loguje, nie omija zabezpieczeń ani nie zbiera danych osobowych.

Dlaczego kosztuje mniej niż parser na zamówienie?

To gotowy, typowy parser cen: jego pola i sposób przechodzenia po stronach są już dopracowane, a my dopasowujemy go do wskazanej strony i Twoich kolumn. Nietypowe strony i pola to usługa parsera na zamówienie.

Nie ma tu odpowiedzi?

Pakiety