公開されている企業ディレクトリを表にするPythonスクレイパー：社名、業種、市区町村、住所、ウェブサイト。個人の連絡先は含みません

結果のイメージ

品番	商品名	価格	在庫	重量	写真
GT-1042	剪定ばさみ、20 mm	18.90	あり	0.24 kg	…/gt-1042.jpg
GT-1187	折りたたみのこぎり、210 mm	24.50	あり	0.31 kg	…/gt-1187.jpg
GT-2210	刈込ばさみ、波刃	39.00	なし	1.10 kg	…/gt-2210.jpg
GT-3305	移植ごて、ステンレス	9.80	あり	0.18 kg	…/gt-3305.jpg
GT-4120	ガーデンホース 25 m、1/2"	42.00	あり	2.90 kg	…/gt-4120.jpg

例のファイルには、52の一覧ページから集めた1,236件の商品が入っています。

コードの一部

def product_links(list_url: str) -> Iterator[str]:
    """一覧の全ページから商品ページのリンクを取得し、「次へ」をたどります。"""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """公開ページを1つ、控えめなペースで取得します。リクエストの間に待ち時間を置き、エラー時は数回やり直します。"""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s の応答は %s、3回中%d回目の試行", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} は3回試しても開けませんでした")

ファイル： scraper.py、settings.ini（開始ページ、リクエスト間の待ち時間、ファイル名）、requirements.txt、インストールと実行の方法を説明したREADMEを含むZIPファイル。読み込むのは公開ページだけで、2秒に1ページのペースで、最初にサイトのrobots.txtを確認します。お客様ご自身のパソコンで実行していただきます。