Site haritası ayrıştırıcıKullanıma Hazır

Bir sitenin sitemap.xml dosyasını okuyan ve her sayfanın başlığını, açıklamasını ve H1'ini kaydeden hazır Python ayrıştırıcısı

Genellikle 15 dakika içinde hazırRevizyonlar dahilKalite kontrolü
Paketler
Ödeme korumasıAyrıntılar
  • Paket kapsamındaki revizyonlar ücretsizdir.
  • Teslimattan sonraki 3 gün içinde yanıt vermezseniz iş otomatik olarak onaylanır.

Para, ödeme yaptığınızda bloke edilir ve yalnızca işi onayladığınızda aktarılır.

Bir sitenin sitemap.xml dosyasını okuyan ve her sayfanın başlığını, açıklamasını ve H1'ini kaydeden hazır Python ayrıştırıcısı

Örnek sonuç

Standart paket için örnek

Parser of a garden tools supplier's catalog into Excel

What the result looks like

ArticleNamePriceIn stockWeightPhoto
GT-1042Pruning shears, 20 mm18.90Yes0.24 kg…/gt-1042.jpg
GT-1187Folding saw, 210 mm24.50Yes0.31 kg…/gt-1187.jpg
GT-2210Hedge shears, wavy blade39.00No1.10 kg…/gt-2210.jpg
GT-3305Hand trowel, stainless9.80Yes0.18 kg…/gt-3305.jpg
GT-4120Garden hose 25 m, 1/2"42.00Yes2.90 kg…/gt-4120.jpg

The file in the example has 1,236 products from 52 list pages.

A part of the code

def product_links(list_url: str) -> Iterator[str]:
    """Product page links from every page of the list, following 'Next'."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """One open page, at a polite pace: a pause between requests and a few tries on errors."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s answered %s, try %d of 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} did not open after 3 tries")

Files: a ZIP archive with scraper.py, settings.ini (the start page, the pause between requests, the file name), requirements.txt and a README on installing and running it. It reads only open pages, one every 2 seconds, and checks the site's robots.txt first. The client runs it on their own computer.

Client: an online garden shop that resells a supplier's tools; the supplier has an open catalog on its website but no price list file. Task: go through the catalog's list pages, open every product page and save the article number, name, price, stock, weight and main photo link to Excel, to compare prices once a week.

Müşteri ve tüm ayrıntılar kurgusaldır.

Bu hizmet hakkında

Hazır bir site haritası ayrıştırıcısı: sitemap.xml dosyalarına önceden çözülmüş tipik bir Python ayrıştırıcısı, adını verdiğiniz siteye, kendinizin ya da herhangi bir açık sitenin, göre ayarlanır. Site haritasındaki adres listesini okur, her sayfayı açar ve bir envanter için gereken her şeyi kaydeder: adres, site haritasındaki tarih, yanıt durumu, başlık, meta açıklama, H1 ve Standart paketten itibaren canonical, H2 başlıklarının sayısı, kelime sayısı ve alt metni olmayan görseller. Tablo hangi sayfaların başlıksız, açıklaması çift ya da H1'i eksik olduğunu hemen gösterir; bu da yeniden tasarımdan, taşımadan veya bir SEO incelemesinden önce yardımcı olur. Siteyi ve ihtiyacınız olan alanları gönderirsiniz. Kendi bilgisayarınızda çalıştırırsınız. Yalnızca site haritasındaki ve ziyaretçilere açık sayfaları görür, SEO'yu değerlendirmez ya da tavsiye vermez ve aramada hiçbir sıralama vaat etmez.

Neler dahil

  • Neler alırsınızPython'da hazır site haritası ayrıştırıcısının ZIP arşivi, adreslerin ve sayfalar arası bekleme süresinin bulunduğu bir ayar dosyası ve bir README; kod ayrıca sipariş sayfasında gösterilir.
  • Site haritasındansitemap.xml'de listelenen her adres
  • Sayfa alanları hazırDurum, başlık, açıklama, H1 ve daha fazlası
  • Boşluklar kolay görülürBoş veya tekrarlanan başlıklar tabloda göze çarpar
  • Nazik hızSayfalar arasında ayarlarda belirlenen bir bekleme
  • Sade bir kılavuzPython'u kurma ve çalıştırma, adım adım

Nasıl çalışır

  1. 1
    SayfalarSiteyi, site haritasını ve ihtiyacınız olan alanları verirsiniz
  2. 2
    KurulumHazır ayrıştırıcıyı o sayfalara uyarlar ve kılavuzu yazarız
  3. 3
    ÇalıştırmaÇalıştırır ve tablonun ilk satırlarını kontrol edersiniz
  4. 4
    DeğişikliklerPaketiniz kapsamında değişiklik istersiniz ve varsa hata mesajını gönderirsiniz

Sizden neler gerekiyor

Site ve genellikle /sitemap.xml adresinde bulunan sitemap.xml adresi ve kabaca kaç sayfası olduğu. İhtiyacınız olan alanlar tablonuzun sırasıyla, örneğin adres, durum, başlık, açıklama, H1 ve Standart paketten itibaren canonical ve kelime sayısı. Sonuç dosyası: CSV, Excel veya Premium'da JSON. Premium için karşılaştırılacak diğer siteler ve ne sıklıkla çalışacağı.

Size soracaklarımız:

  • Hangi site?
  • İhtiyacınız olan alanlar
  • Kabaca kaç sayfa?
  • Sonuç dosyası ve diğer siteler

Paketleri karşılaştırın

PaketlerTemel$16Standart$33Premium$58
Neler dahilListelenen sayfaların başlıklarıSite haritası dizini ve sayfalarEn fazla 3 site
Teslim süresi1 gün2 gün3 gün
Revizyonlar123
Siteler11en fazla 3
Sayfa türleri12 (liste ve ürün)en fazla 3
Alanlaren fazla 10en fazla 25her birinde en fazla 25
Bir listenin sayfalarından geçerHayırEvetEvet
Sonuç dosyasıCSVExcel veya CSVExcel, CSV veya JSON
Yinelenenler kaldırılır, kaldığı yerden devam ederHayırHayırEvet
Hazır sürümSite haritası ve sayfa başlıklarıSite haritası ve sayfa başlıklarıSite haritası ve sayfa başlıkları
Sipariş ver TemelSipariş ver StandartSipariş ver Premium

Ödeme koruması

Sipariş verirken ödersiniz, ancak para yalnızca onaylanan iş için aktarılır.

  • Sabit fiyatPaket fiyatı, ödeme yaptıktan sonra değişmez.
  • Para bloke edilirÖdeme yaptığınızda tutar yalnızca bloke edilir. İşi onayladığınızda hizmete aktarılır.
  • Teslimattan önce kontrolHer sonuç size ulaşmadan önce kalite kontrolünden geçer ve onaylamadan önce sipariş sayfasında görürsünüz.
  • Ücretsiz revizyonlarBrifiniz kapsamında, paketin izin verdiği sayıda değişiklik isteyin.
  • 3 gün sonra onayTeslimattan sonraki 3 gün içinde işi onaylamaz veya değişiklik istemezseniz iş otomatik olarak onaylanır. Teslimattan sonra sipariş sohbetine yazarsanız sipariş bekletilir; yanıt verdikten sonra 3 günlük süreyi yeniden başlatabiliriz ve bunu sohbette bildiririz.
  • Yeniden yapım veya tam iadeSonuç brifinize uymuyorsa ve revizyonlar sorunu çözmediyse ya da iş teslim süresinin iki katından uzun sürerse sipariş sohbetine yazın: işi yeniden yaparız veya ödemenin tamamını iade ederiz.
Nasıl çalışır →

Sorular ve yanıtlar

Sitenin site haritası yoksa ne olur?

O zaman bunun yerine bir metin dosyasında adres listesi verin; ayrıştırıcı onları aynı şekilde okur. Bütün siteyi bağlantı bağlantı gezmez.

SEO'mu nasıl düzelteceğimi söyler mi?

Hayır. Size verileri bir tabloda verir; neyin değişeceği sizin kararınız ya da bir SEO denetiminin işidir. Hiç kimse aramada sıralama vaat edemez.

Büyük bir site ne kadar sürer?

Sayfaları belirlediğiniz bir beklemeyle nazik bir hızda okur; bu yüzden birkaç bin sayfalık bir site bir saat veya daha fazla sürer. Premium'da kaldığı yerden devam eder.

Bu verileri toplamama izin var mı?

Herkese açık verileri toplamak birçok durumda serbesttir ancak sitelerin koşulları ve veri yasaları ülkeden ülkeye farklıdır; bu yüzden toplayıp kullanıp kullanamayacağınıza siz karar verirsiniz. Ayrıştırıcı asla giriş yapmaz, korumaları aşmaz ya da kişisel veri toplamaz.

Neden özel bir ayrıştırıcıdan daha ucuz?

Hazır ve tipik bir site haritası ayrıştırıcısıdır: alanları ve sayfalar arasında gezinme biçimi önceden çözülmüştür ve biz onu adını verdiğiniz siteye ve sütunlarınıza uyarlarız. Alışılmadık siteler ve alanlar özel ayrıştırıcı hizmetidir.

Yanıtınızı bulamadınız mı?

Paketler