一个用 Python 编写的网站采集程序，把页面上的公开数据收集到 CSV 或 Excel：价格、商品目录、信息列表

结果示例

示例文件中有 1,236 个商品，来自 52 个列表页。

部分代码

def product_links(list_url: str) -> Iterator[str]:
    """从列表的每一页获取商品页面链接，沿“下一页”继续翻页。"""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """以礼貌的节奏读取一个公开页面：请求之间有间隔，出错时重试几次。"""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s 返回了 %s，第 %d 次尝试，共 3 次", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} 尝试 3 次后仍无法打开")

**文件：**一个 ZIP 压缩包，内含 scraper.py、settings.ini（起始页面、请求间隔、文件名）、requirements.txt 以及说明如何安装和运行的 README。它只读取公开页面，每 2 秒读取一页，并会先查看网站的 robots.txt。客户在自己的电脑上运行。