サイトマップパーサー既製品

Pythonの既成パーサー:サイトのsitemap.xmlを読み、各ページのタイトル、ディスクリプション、H1を保存

通常15 分で完成修正対応込み品質チェック
プラン
安心決済詳しく
  • プランの範囲内の修正は無料です。
  • 納品から3日以内にご対応がない場合、自動的に承認されます。

代金はお支払い時にお預かりし、納品を承認した時点ではじめて支払われます。

Pythonの既成パーサー:サイトのsitemap.xmlを読み、各ページのタイトル、ディスクリプション、H1を保存

成果物の例

スタンダードパッケージの例

園芸用品の仕入れ先のカタログをExcelにするスクレイパー

結果のイメージ

品番商品名価格在庫重量写真
GT-1042剪定ばさみ、20 mm18.90あり0.24 kg…/gt-1042.jpg
GT-1187折りたたみのこぎり、210 mm24.50あり0.31 kg…/gt-1187.jpg
GT-2210刈込ばさみ、波刃39.00なし1.10 kg…/gt-2210.jpg
GT-3305移植ごて、ステンレス9.80あり0.18 kg…/gt-3305.jpg
GT-4120ガーデンホース 25 m、1/2"42.00あり2.90 kg…/gt-4120.jpg

例のファイルには、52の一覧ページから集めた1,236件の商品が入っています。

コードの一部

def product_links(list_url: str) -> Iterator[str]:
    """一覧の全ページから商品ページのリンクを取得し、「次へ」をたどります。"""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """公開ページを1つ、控えめなペースで取得します。リクエストの間に待ち時間を置き、エラー時は数回やり直します。"""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s の応答は %s、3回中%d回目の試行", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} は3回試しても開けませんでした")

ファイル: scraper.py、settings.ini(開始ページ、リクエスト間の待ち時間、ファイル名)、requirements.txt、インストールと実行の方法を説明したREADMEを含むZIPファイル。読み込むのは公開ページだけで、2秒に1ページのペースで、最初にサイトのrobots.txtを確認します。お客様ご自身のパソコンで実行していただきます。

お客様: 仕入れ先の道具を再販している園芸用品のネットショップ。仕入れ先のウェブサイトには公開カタログがありますが、価格表のファイルはありません。 ご依頼内容: カタログの一覧ページを巡回してすべての商品ページを開き、品番、商品名、価格、在庫、重量、メイン写真のリンクをExcelに保存して、週に1回価格を比べられるようにする。

お客様とすべての情報は架空のものです。

このサービスについて

既成のサイトマップパーサーです。sitemap.xml向けにすでに作り込まれた定番のPythonパーサーを、お客様が指定する自社サイトや他の公開サイトに合わせて設定します。サイトマップからアドレスの一覧を読み、各ページを開いて、棚卸しに必要な情報を保存します。アドレス、サイトマップ内の日付、応答ステータス、タイトル、メタディスクリプション、H1。スタンダードからは、canonical、H2見出しの数、語数、alt属性のない画像も。表で、タイトルがないページ、重複したディスクリプション、H1の欠落がひと目で分かるので、リニューアル、サイトの移転、SEOの見直しの前に役立ちます。サイトと必要な項目をお知らせください。実行は、お客様ご自身のパソコンで行います。見られるのはサイトマップにあり、訪問者に公開されているページのみで、SEOの評価やアドバイスはせず、検索順位もお約束しません。

含まれる内容

  • お届け内容既成のサイトマップパーサーのPython、アドレスとページ間の待ち時間を入れた設定ファイル、READMEを収めたZIPアーカイブです。コードは注文ページにも表示されます。
  • サイトマップからsitemap.xmlに載っているすべてのアドレス
  • ページの項目を用意済みステータス、タイトル、ディスクリプション、H1など
  • 抜けが見つけやすい空や重複したタイトルが表で目立ちます
  • 配慮したペースページ間の待ち時間を設定で指定
  • 分かりやすい手引きPythonのインストールと実行を、ステップごとに

ご利用の流れ

  1. 1
    ページサイト、そのサイトマップ、必要な項目をお知らせください
  2. 2
    設定既成のパーサーをそのページに合わせ、手引きを書きます
  3. 3
    実行実行して、表の最初の行をご確認ください
  4. 4
    修正プランの範囲内で修正をご依頼いただけ、エラーメッセージもお送りください

ご用意いただくもの

サイトとそのsitemap.xmlのアドレス(通常は/sitemap.xml)、おおよそのページ数。必要な項目を、表の順に(たとえばアドレス、ステータス、タイトル、ディスクリプション、H1、スタンダードからはcanonicalと語数)。結果のファイル形式:CSV、Excel、プレミアムではJSON。プレミアムでは、比較する他のサイトと実行の頻度。

お伺いする内容:

  • どのサイトですか?
  • 必要な項目
  • おおよそのページ数は?
  • 結果のファイルと他のサイト

プランを比較

プランベーシック¥2,480スタンダード¥5,100プレミアム¥8,970
含まれる内容掲載ページのタイトルサイトマップインデックスとページ最大3つのサイト
納期1日2日3日
修正回数123
サイト11最大3
ページの種類12(一覧と商品)最大3
項目最大10最大25それぞれ最大25
一覧のページをたどりますなしありあり
結果のファイルCSVExcelまたはCSVExcel、CSV、JSON
重複を除き、止まったところから再開なしなしあり
既成バージョンサイトマップとページのタイトルサイトマップとページのタイトルサイトマップとページのタイトル
注文する ベーシック注文する スタンダード注文する プレミアム

安心決済

お支払いは注文時ですが、代金が支払われるのは承認された納品に対してのみです。

  • 固定料金お支払い後にプランの料金が変わることはありません。
  • 代金はお預かりお支払い時、代金はお預かりするだけです。納品を承認した時点でサービス側に支払われます。
  • 納品前にチェックすべての成果物はお手元に届く前に品質チェックを受けます。承認前に注文ページで内容を確認できます。
  • 無料の修正依頼内容の範囲内で、プランで定められた回数まで修正を依頼できます。
  • 3日後に自動承認納品から3日以内に承認も修正依頼もない場合、自動的に承認されます。納品後に注文チャットでメッセージを送った場合、注文は保留されます。こちらから回答した後、3日間のカウントを再開することがあり、その際はチャットでお知らせします。
  • やり直しまたは全額返金結果が依頼内容と合わず修正でも解決しなかった場合、または作業に納期の2倍を超える時間がかかった場合は、注文チャットでご連絡ください。作業をやり直すか、代金を全額返金いたします。
詳しい仕組み →

質問と回答

サイトにサイトマップがない場合は?

その場合は、アドレスの一覧をテキストファイルでお知らせください。パーサーは同じように読みます。サイトをリンクごとにたどってすべてを巡ることはしません。

SEOの直し方も教えてもらえますか?

いいえ。データを表でお渡しします。何を変えるかはお客様の判断か、SEO監査の仕事です。検索順位は誰にもお約束できません。

大きなサイトはどのくらいかかりますか?

設定した待ち時間をはさみながら配慮したペースで読むため、数千ページのサイトなら1時間以上かかります。プレミアムでは、止まったところから再開します。

このデータを集めてもよいのですか?

公開データの収集は多くの場合認められますが、サイトの規約やデータに関する法律は国によって異なるため、集めて使ってよいかはお客様の判断です。パーサーは、ログイン、保護の回避、個人情報の収集を行いません。

オーダーメイドのパーサーより安いのはなぜですか?

すでに作り込まれた既成の定番のサイトマップパーサーで、項目とページの移動のしかたは整っており、それをお客様が指定するサイトと列に合わせます。特殊なサイトや項目は、オーダーメイドのパーサーのサービスになります。

答えが見つかりませんか?

プラン