Parser mapy witrynyGotowe rozwiązania

Gotowy parser w Pythonie, który czyta sitemap.xml strony i zapisuje tytuł, opis i H1 każdej podstrony

Zwykle gotowe w ok. 15 minutPoprawki w cenieKontrola jakości
Pakiety
Ochrona płatnościSzczegóły
  • Poprawki w ramach pakietu są bezpłatne.
  • Jeśli nie odpowiesz w ciągu 3 dni od dostarczenia pracy, zostanie ona zaakceptowana automatycznie.

Pieniądze są rezerwowane w chwili płatności i przekazywane dopiero po akceptacji pracy.

Gotowy parser w Pythonie, który czyta sitemap.xml strony i zapisuje tytuł, opis i H1 każdej podstrony

Przykładowy rezultat

Przykład dla pakietu Standard

Parser katalogu dostawcy narzędzi ogrodowych do Excela

Jak wygląda wynik

IndeksNazwaCenaDostępnyWagaZdjęcie
GT-1042Sekator, 20 mm18,90Tak0,24 kg…/gt-1042.jpg
GT-1187Piła składana, 210 mm24,50Tak0,31 kg…/gt-1187.jpg
GT-2210Nożyce do żywopłotu, ostrza faliste39,00Nie1,10 kg…/gt-2210.jpg
GT-3305Łopatka ogrodowa, nierdzewna9,80Tak0,18 kg…/gt-3305.jpg
GT-4120Wąż ogrodowy 25 m, 1/2"42,00Tak2,90 kg…/gt-4120.jpg

Plik w przykładzie zawiera 1236 produktów z 52 stron listy.

Fragment kodu

def product_links(list_url: str) -> Iterator[str]:
    """Linki do stron produktów z każdej strony listy, z przejściem przez „Dalej”."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """Jedna ogólnodostępna strona, w spokojnym tempie: przerwa między zapytaniami i kilka prób przy błędach."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s odpowiedział kodem %s, próba %d z 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} nie otworzył się po 3 próbach")

Pliki: archiwum ZIP z plikami scraper.py, settings.ini (strona startowa, przerwa między zapytaniami, nazwa pliku), requirements.txt oraz README o instalacji i uruchomieniu. Parser czyta tylko ogólnodostępne strony, jedną co 2 sekundy, i najpierw sprawdza plik robots.txt strony. Klient uruchamia go na własnym komputerze.

Klient: internetowy sklep ogrodniczy, który odsprzedaje narzędzia dostawcy; dostawca ma na swojej stronie ogólnodostępny katalog, ale nie udostępnia pliku z cennikiem. Zadanie: przejść przez strony listy w katalogu, otworzyć każdą stronę produktu i zapisać do Excela indeks, nazwę, cenę, dostępność, wagę i link do głównego zdjęcia, żeby raz w tygodniu porównywać ceny.

Klient i wszystkie dane są wymyślone.

O usłudze

Gotowy parser mapy witryny: typowy parser w Pythonie, już dopracowany pod pliki sitemap.xml, ustawiony pod stronę, którą wskażesz, własną lub dowolną otwartą. Czyta listę adresów z mapy witryny, otwiera każdą stronę i zapisuje to, czego potrzebujesz do inwentaryzacji: adres, datę z mapy witryny, status odpowiedzi, tytuł, meta opis, H1, a od pakietu Standard canonical, liczbę nagłówków H2, liczbę słów i obrazy bez tekstu alt. Tabela od razu pokazuje, które strony nie mają tytułu, mają powtórzony opis lub brakujące H1, co pomaga przed zmianą wyglądu, przeprowadzką lub przeglądem SEO. Przesyłasz stronę i potrzebne pola. Uruchamiasz go na własnym komputerze. Widzi tylko strony z mapy witryny i otwarte dla odwiedzających, nie ocenia SEO ani nie doradza i nie obiecuje pozycji w wyszukiwarce.

Co obejmuje usługa

  • Co dostajeszArchiwum ZIP z gotowym parserem mapy witryny w Pythonie, plikiem ustawień z adresami i pauzą między stronami oraz README; kod jest też pokazany na stronie zamówienia.
  • Z mapy witrynyKażdy adres wymieniony w sitemap.xml
  • Gotowe pola stronStatus, tytuł, opis, H1 i więcej
  • Luki łatwo zobaczyćPuste lub powtórzone tytuły wyróżniają się w tabeli
  • Grzeczne tempoPauza między stronami, ustawiana w ustawieniach
  • Prosty przewodnikInstalacja Pythona i uruchomienie krok po kroku

Jak to działa

  1. 1
    StronyPodajesz stronę, jej mapę witryny i potrzebne pola
  2. 2
    KonfiguracjaDopasowujemy gotowy parser do tych stron i piszemy przewodnik
  3. 3
    UruchomienieUruchamiasz go i sprawdzasz pierwsze wiersze tabeli
  4. 4
    ZmianyProsisz o zmiany w ramach pakietu i przesyłasz komunikat o błędzie

Czego potrzebujemy od Ciebie

Strona i adres jej sitemap.xml, zwykle pod /sitemap.xml, oraz mniej więcej ile ma podstron. Potrzebne pola w kolejności Twojej tabeli, na przykład adres, status, tytuł, opis, H1, a od pakietu Standard canonical i liczba słów. Plik wyników: CSV, Excel lub, w pakiecie Premium, JSON. W pakiecie Premium inne strony do porównania i jak często uruchamiać.

Zapytamy Cię:

  • Jaka strona?
  • Potrzebne pola
  • Mniej więcej ile podstron?
  • Plik wyników i inne strony

Porównaj pakiety

PakietyPodstawowy61 złStandard125 złPremium219 zł
Co obejmuje usługaTytuły stron z mapyIndeks map witryny i stronyDo 3 stron
Termin1 dzień2 dni3 dni
Poprawki123
Strony11do 3
Rodzaje stron12 (lista i pozycja)do 3
Polado 10do 25do 25 na każdej
Przechodzi przez strony listyNieTakTak
Plik wynikówCSVExcel lub CSVExcel, CSV lub JSON
Usuwa duplikaty, wznawia od miejsca przerwaniaNieNieTak
Wersja gotowaMapa witryny i tytuły stronMapa witryny i tytuły stronMapa witryny i tytuły stron
Zamów PodstawowyZamów StandardZamów Premium

Ochrona płatności

Płacisz przy składaniu zamówienia, ale pieniądze są przekazywane tylko za zaakceptowaną pracę.

  • Stała cenaCena pakietu nie zmienia się po zapłacie.
  • Pieniądze są zarezerwowanePrzy płatności kwota jest tylko rezerwowana. Serwis otrzymuje ją dopiero po akceptacji pracy.
  • Sprawdzone przed dostarczeniemKażdy wynik przechodzi kontrolę jakości, zanim do Ciebie trafi, a przed akceptacją widzisz go na stronie zamówienia.
  • Bezpłatne poprawkiProś o poprawki w ramach briefu tyle razy, ile przewiduje pakiet.
  • Akceptacja po 3 dniachJeśli w ciągu 3 dni od dostarczenia pracy ani jej nie zaakceptujesz, ani nie poprosisz o poprawki, zostanie zaakceptowana automatycznie. Jeśli po dostarczeniu napiszesz na czacie zamówienia, zamówienie czeka; po naszej odpowiedzi możemy ponownie uruchomić odliczanie 3 dni i poinformujemy o tym na czacie.
  • Ponowne wykonanie lub pełny zwrot pieniędzyJeśli wynik nie odpowiada Twojemu briefowi, a poprawki tego nie naprawiły, lub praca trwa ponad dwa razy dłużej niż termin, napisz na czacie zamówienia: wykonamy pracę ponownie albo zwrócimy całą płatność.
Jak to działa →

Pytania i odpowiedzi

A jeśli strona nie ma mapy witryny?

Wtedy podaj listę adresów w pliku tekstowym; parser odczyta je tak samo. Nie przechodzi po całej stronie link po linku.

Czy powie mi, jak poprawić moje SEO?

Nie. Daje Ci dane w tabeli; co zmienić, to Twoja decyzja albo zadanie dla audytu SEO. Nikt nie może obiecać pozycji w wyszukiwarce.

Ile trwa sprawdzenie dużej strony?

Czyta strony w grzecznym tempie z ustawioną przez Ciebie pauzą, więc strona z kilkoma tysiącami podstron zajmuje godzinę lub więcej. W pakiecie Premium wznawia od miejsca przerwania.

Czy wolno mi zbierać te dane?

Zbieranie publicznych danych jest w wielu przypadkach dozwolone, ale regulaminy stron i przepisy o danych różnią się między krajami, więc to Ty decydujesz, czy możesz je zbierać i wykorzystywać. Parser nigdy się nie loguje, nie omija zabezpieczeń ani nie zbiera danych osobowych.

Dlaczego kosztuje mniej niż parser na zamówienie?

To gotowy, typowy parser mapy witryny: jego pola i sposób przechodzenia po stronach są już dopracowane, a my dopasowujemy go do wskazanej strony i Twoich kolumn. Nietypowe strony i pola to usługa parsera na zamówienie.

Nie ma tu odpowiedzi?

Pakiety