Parser nagłówków wiadomościGotowe rozwiązania

Gotowy parser w Pythonie nagłówków z otwartych serwisów informacyjnych: nagłówek, data, dział, krótki lead i link

Zwykle gotowe w ok. 15 minutPoprawki w cenieKontrola jakości
Pakiety
Ochrona płatnościSzczegóły
  • Poprawki w ramach pakietu są bezpłatne.
  • Jeśli nie odpowiesz w ciągu 3 dni od dostarczenia pracy, zostanie ona zaakceptowana automatycznie.

Pieniądze są rezerwowane w chwili płatności i przekazywane dopiero po akceptacji pracy.

Gotowy parser w Pythonie nagłówków z otwartych serwisów informacyjnych: nagłówek, data, dział, krótki lead i link

Przykładowy rezultat

Przykład dla pakietu Standard

Parser katalogu dostawcy narzędzi ogrodowych do Excela

Jak wygląda wynik

IndeksNazwaCenaDostępnyWagaZdjęcie
GT-1042Sekator, 20 mm18,90Tak0,24 kg…/gt-1042.jpg
GT-1187Piła składana, 210 mm24,50Tak0,31 kg…/gt-1187.jpg
GT-2210Nożyce do żywopłotu, ostrza faliste39,00Nie1,10 kg…/gt-2210.jpg
GT-3305Łopatka ogrodowa, nierdzewna9,80Tak0,18 kg…/gt-3305.jpg
GT-4120Wąż ogrodowy 25 m, 1/2"42,00Tak2,90 kg…/gt-4120.jpg

Plik w przykładzie zawiera 1236 produktów z 52 stron listy.

Fragment kodu

def product_links(list_url: str) -> Iterator[str]:
    """Linki do stron produktów z każdej strony listy, z przejściem przez „Dalej”."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """Jedna ogólnodostępna strona, w spokojnym tempie: przerwa między zapytaniami i kilka prób przy błędach."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s odpowiedział kodem %s, próba %d z 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} nie otworzył się po 3 próbach")

Pliki: archiwum ZIP z plikami scraper.py, settings.ini (strona startowa, przerwa między zapytaniami, nazwa pliku), requirements.txt oraz README o instalacji i uruchomieniu. Parser czyta tylko ogólnodostępne strony, jedną co 2 sekundy, i najpierw sprawdza plik robots.txt strony. Klient uruchamia go na własnym komputerze.

Klient: internetowy sklep ogrodniczy, który odsprzedaje narzędzia dostawcy; dostawca ma na swojej stronie ogólnodostępny katalog, ale nie udostępnia pliku z cennikiem. Zadanie: przejść przez strony listy w katalogu, otworzyć każdą stronę produktu i zapisać do Excela indeks, nazwę, cenę, dostępność, wagę i link do głównego zdjęcia, żeby raz w tygodniu porównywać ceny.

Klient i wszystkie dane są wymyślone.

O usłudze

Gotowy parser nagłówków wiadomości: typowy parser w Pythonie, już dopracowany pod strony z wiadomościami, dopasowany do otwartego serwisu informacyjnego lub działu, który wskażesz. Zapisuje nagłówek, datę i godzinę, dział, tagi, krótki lead pokazywany przez stronę i link: wystarczy, by śledzić swoją branżę, zobaczyć, jak często pojawia się temat, albo prowadzić listę lektur do newslettera. Nie kopiuje pełnych artykułów, które należą do ich wydawców; tabela odsyła do nich linkiem. Jeśli strona ma kanał RSS, parser może go odczytać, co jest łagodniejsze dla strony. Przesyłasz linki do strony działu i do jednego artykułu, ich zapisane kopie i potrzebne pola. Uruchamiasz go sam na swoim komputerze. Czyta tylko otwarte strony w grzecznym tempie, pomija wszystko za paywallem lub logowaniem i nie zapisuje komentarzy ani niczego z imionami czytelników.

Co obejmuje usługa

  • Co dostajeszArchiwum ZIP z gotowym parserem nagłówków wiadomości w Pythonie, plikiem ustawień z adresami i pauzą między stronami oraz README; kod jest też pokazany na stronie zamówienia.
  • Gotowe pola nagłówkówNagłówek, data, dział, tagi, lead, link
  • Linki, a nie pełne tekstyArtykuły zostają u ich wydawców
  • Kilka stron razemDo 3 w jednej tabeli, w pakiecie Premium
  • Grzeczne tempoPauza między stronami, ustawiana w ustawieniach
  • Prosty przewodnikInstalacja Pythona i uruchomienie krok po kroku

Jak to działa

  1. 1
    StronyPodajesz stronę, dział, pola i zapisane strony
  2. 2
    KonfiguracjaDopasowujemy gotowy parser do tych stron i piszemy przewodnik
  3. 3
    UruchomienieUruchamiasz go i sprawdzasz pierwsze wiersze tabeli
  4. 4
    ZmianyProsisz o zmiany w ramach pakietu i przesyłasz komunikat o błędzie

Czego potrzebujemy od Ciebie

Otwarty serwis informacyjny i dokładne strony: link do strony działu lub tagu oraz do jednego artykułu. Potrzebne pola w kolejności Twojej tabeli, na przykład nagłówek, data, dział, lead i link. Jedna lub dwie z tych stron zapisane z przeglądarki (Plik > Zapisz stronę jako) lub zrzuty ekranu oraz link do RSS, jeśli strona go ma. Plik wyników: CSV, Excel lub, w pakiecie Premium, JSON. W pakiecie Premium inne strony i jak często uruchamiać.

Zapytamy Cię:

  • Jaka strona i jaki dział?
  • Potrzebne pola
  • Słowa kluczowe do zachowania
  • Plik wyników i jak często

Porównaj pakiety

PakietyPodstawowy61 złStandard117 złPremium211 zł
Co obejmuje usługaNagłówki z jednej stronyDział i artykułyDo 3 serwisów informacyjnych
Termin1 dzień2 dni3 dni
Poprawki123
Strony11do 3
Rodzaje stron12 (lista i pozycja)do 3
Polado 10do 25do 25 na każdej
Przechodzi przez strony listyNieTakTak
Plik wynikówCSVExcel lub CSVExcel, CSV lub JSON
Usuwa duplikaty, wznawia od miejsca przerwaniaNieNieTak
Wersja gotowaNagłówki wiadomościNagłówki wiadomościNagłówki wiadomości
Zamów PodstawowyZamów StandardZamów Premium

Ochrona płatności

Płacisz przy składaniu zamówienia, ale pieniądze są przekazywane tylko za zaakceptowaną pracę.

  • Stała cenaCena pakietu nie zmienia się po zapłacie.
  • Pieniądze są zarezerwowanePrzy płatności kwota jest tylko rezerwowana. Serwis otrzymuje ją dopiero po akceptacji pracy.
  • Sprawdzone przed dostarczeniemKażdy wynik przechodzi kontrolę jakości, zanim do Ciebie trafi, a przed akceptacją widzisz go na stronie zamówienia.
  • Bezpłatne poprawkiProś o poprawki w ramach briefu tyle razy, ile przewiduje pakiet.
  • Akceptacja po 3 dniachJeśli w ciągu 3 dni od dostarczenia pracy ani jej nie zaakceptujesz, ani nie poprosisz o poprawki, zostanie zaakceptowana automatycznie. Jeśli po dostarczeniu napiszesz na czacie zamówienia, zamówienie czeka; po naszej odpowiedzi możemy ponownie uruchomić odliczanie 3 dni i poinformujemy o tym na czacie.
  • Ponowne wykonanie lub pełny zwrot pieniędzyJeśli wynik nie odpowiada Twojemu briefowi, a poprawki tego nie naprawiły, lub praca trwa ponad dwa razy dłużej niż termin, napisz na czacie zamówienia: wykonamy pracę ponownie albo zwrócimy całą płatność.
Jak to działa →

Pytania i odpowiedzi

Czy może zapisywać pełny tekst artykułów?

Nie. Artykuły są dziełem wydawców. Parser zapisuje nagłówek, krótki lead pokazywany przez stronę i link, więc artykuł czytasz na stronie.

Czy mogę ponownie publikować nagłówki na swojej stronie?

To zależy od regulaminu wydawcy i prawa Twojego kraju, a decyzja należy do Ciebie. Parser jest zrobiony do własnego monitorowania i list lektur.

A jeśli strona zmieni układ?

Parser działa na stronach takich, jakie są teraz. Po zmianie wyglądu strony wymaga aktualizacji, czyli nowego zamówienia. Czyta w grzecznym tempie i nie omija limitów ustawionych przez stronę.

Czy wolno mi zbierać te dane?

Zbieranie publicznych danych jest w wielu przypadkach dozwolone, ale regulaminy stron i przepisy o danych różnią się między krajami, więc to Ty decydujesz, czy możesz je zbierać i wykorzystywać. Parser nigdy się nie loguje, nie omija zabezpieczeń ani nie zbiera danych osobowych.

Dlaczego kosztuje mniej niż parser na zamówienie?

To gotowy, typowy parser nagłówków wiadomości: jego pola i sposób przechodzenia po stronach są już dopracowane, a my dopasowujemy go do wskazanej strony i Twoich kolumn. Nietypowe strony i pola to usługa parsera na zamówienie.

Nie ma tu odpowiedzi?

Pakiety