Pythonで作るWebスクレイパー。公開ページのデータをCSVやExcelにまとめます：価格、カタログ、掲載情報

成果物の例

def product_links(list_url: str) -> Iterator[str]:
    """一覧の全ページから商品ページのリンクを取得し、「次へ」をたどります。"""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """公開ページを1つ、控えめなペースで取得します。リクエストの間に待ち時間を置き、エラー時は数回やり直します。"""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s の応答は %s、3回中%d回目の試行", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} は3回試しても開けませんでした")

このサービスについて

スクレイパーは、公開されたWebページで見られるデータを集めて表に保存します。商品の価格と在庫、ショップ用の仕入れ先カタログ、掲載情報、求人、イベント、記事など。対象サイトとページ、必要な項目（商品名、価格、リンク、画像など）をお伝えいただき、対象ページを1〜2ページ、ブラウザから保存したもの（ファイル＞名前を付けてページを保存）かスクリーンショットでお送りください。実際のページ構造に合わせてPythonでスクレイパーを書き、結果をCSV、Excel、JSONで保存します。コード、URLとページ間の待ち時間を書いた設定ファイル、Pythonのインストール方法と実行方法を説明したREADMEをまとめたファイルをお渡しします。スクレイパーはお客様ご自身のパソコンで実行するため、データは直接お客様の手元に届きます。こちらがデータを集めたり保管したりすることはありません。読み込むのは公開ページだけで、相手サイトに負担をかけない控えめなペースで動き、ログイン、CAPTCHAなどの保護の回避、氏名・メールアドレス・電話番号といった個人データの収集は一切行いません。サイトのレイアウトが変わると、スクレイパーの更新が必要になる場合があります。サイトのデータを利用規約上集めて使ってよいかの判断は、お客様の責任となります。

含まれる内容

• 納品物Pythonのコード、設定ファイル、手順を一つずつ説明したREADMEを入れたZIPファイル。コードは注文ページでも確認できます。
• 必要な項目を、必要な表に列はご希望の順に
• 実際のページに合わせてお送りいただいたページの構造をもとに作成
• 控えめなペースページ間の待ち時間は設定ファイルで指定
• お客様のパソコンで実行Windows、macOS、Linux（Python使用）
• わかりやすいガイドインストールするものと実行方法を一つずつ

ご利用の流れ

1. 1
   ページ数対象サイト、項目、保存したページ1〜2ページをお送りいただきます
2. 2
   スクレイパーコードと実行ガイドを作成します
3. 3
   実行実行して、表の最初の数行を確認していただきます
4. 4
   修正プランの範囲内で修正を依頼し、エラーメッセージがあればお送りください

ご用意いただくもの

対象サイトと具体的なページ：一覧ページと個別ページのリンク、おおよそのページ数。必要な項目を表の列順に、それぞれの例付きで。実際の構造に合わせるため、対象ページを1〜2ページ、ブラウザからHTMLとして保存したもの（ファイル＞名前を付けてページを保存）かスクリーンショット。必要な出力ファイル（CSV、Excel、JSON）と実行環境。

お伺いする内容：

• 対象サイトとページは？
• 必要な項目
• おおよそのページ数は？
• 出力ファイル
• その他の要望

プランを比較

質問と回答

答えが見つかりませんか？ 質問する