成果示例
把园艺工具供应商的商品目录采集到 Excel
结果示例
| 商品编号 | 名称 | 价格 | 有货 | 重量 | 图片 |
|---|---|---|---|---|---|
| GT-1042 | 修枝剪，20 mm | 18.90 | 是 | 0.24 kg | …/gt-1042.jpg |
| GT-1187 | 折叠锯，210 mm | 24.50 | 是 | 0.31 kg | …/gt-1187.jpg |
| GT-2210 | 绿篱剪，波浪刃 | 39.00 | 否 | 1.10 kg | …/gt-2210.jpg |
| GT-3305 | 手铲，不锈钢 | 9.80 | 是 | 0.18 kg | …/gt-3305.jpg |
| GT-4120 | 园艺水管 25 m，1/2" | 42.00 | 是 | 2.90 kg | …/gt-4120.jpg |
示例文件中有 1,236 个商品，来自 52 个列表页。
部分代码
def product_links(list_url: str) -> Iterator[str]:
"""从列表的每一页获取商品页面链接，沿“下一页”继续翻页。"""
url: str | None = list_url
while url:
page = fetch(url)
for card in page.select("div.product-card a.title"):
yield urljoin(url, card["href"])
next_link = page.select_one("a.pagination-next")
url = urljoin(url, next_link["href"]) if next_link else None
def fetch(url: str) -> BeautifulSoup:
"""以礼貌的节奏读取一个公开页面：请求之间有间隔，出错时重试几次。"""
for attempt in range(3):
time.sleep(settings.delay_seconds)
response = session.get(url, timeout=30)
if response.status_code == 200:
return BeautifulSoup(response.text, "html.parser")
log.warning("%s 返回了 %s，第 %d 次尝试，共 3 次", url, response.status_code, attempt + 1)
raise ScraperError(f"{url} 尝试 3 次后仍无法打开")
**文件：**一个 ZIP 压缩包，内含 scraper.py、settings.ini（起始页面、请求间隔、文件名）、requirements.txt 以及说明如何安装和运行的 README。它只读取公开页面，每 2 秒读取一页，并会先查看网站的 robots.txt。客户在自己的电脑上运行。
**客户：**一家转售某供应商工具的园艺网店；供应商在网站上有公开的商品目录，但没有价目表文件。 **任务：**逐页读取目录的列表页，打开每个商品页面，把商品编号、名称、价格、库存、重量和主图链接保存到 Excel，每周比较一次价格。
客户及所有信息均为虚构。
服务介绍
在网站迁移或 SEO 检查之前，这个采集程序会遍历网站的页面，为每个页面保存一行：地址、响应码、title 和 meta description 及其长度、H1、H2 数量、canonical 链接、noindex 标签、字数、缺少 alt 文字的图片，以及内部链接数量。它可以从网站的 sitemap 文件、分类页面或您自己的列表中获取地址。可用于您自己的网站，也可用于竞争对手的公开网站。请发来网站地址、几个从浏览器保存的页面以及您需要的字段。您会收到 Python 代码、设置文件和 README，在自己的电脑上运行。它只收集事实，不修改网站，也不承诺搜索排名。它只以礼貌的节奏读取公开页面，从不登录，也不绕过验证码或任何防护。网站条款是否允许由您判断；网站日后改版时，需要更新程序。
服务内容
- 您将获得一个 ZIP 压缩包，内含 Python 代码、设置文件和附分步说明的 README；订单页面上也能查看代码。
- 标签及其长度title 和 description 附字符数
- 响应码找出失效和重定向的页面
- 缺少 alt 文字统计没有 alt 文字的图片
- 来自 sitemap 或您的列表地址来自 sitemap 文件、分类页面或您提供的文件
- 礼貌的节奏页面之间的间隔，在设置中设定
服务流程
- 1网站您提供网站、地址来源和保存好的页面
- 2采集程序我们编写代码和运行说明
- 3运行您运行程序，并在浏览器中核对几行
- 4修改您在套餐范围内提出修改，如有报错信息请一并发来
需要您提供的信息
网站地址，以及采集程序从哪里获取地址：sitemap 文件、分类页面还是您自己的列表。大约有多少个页面。您需要的字段，例如地址、响应码、title、description、H1、canonical、noindex、字数、缺少 alt 的图片。两三个从浏览器保存的不同类型页面（文件 > 网页另存为）。CSV 还是 Excel。
我们会询问您：
- 哪个网站？
- 从哪里获取地址
- 您需要的字段
- 大约多少个页面？
套餐对比
付款保障
您在下单时付款，但款项仅在您验收后才会结算。
- 固定价格付款后套餐价格不会变动。
- 款项先冻结付款时，这笔金额只是被冻结。您验收后，款项才会结算给平台。
- 交付前检查每份成果在送达您之前都会经过质量检查，验收前您可以在订单页面查看。
- 免费修改在需求说明范围内，您可以在套餐允许的次数内提出修改。
- 3 天后自动验收如果交付后 3 天内您既未验收也未提出修改，工作将自动验收。如果您在交付后于订单聊天中留言，订单将暂停自动验收；我们回复后，可能会重新开始计算 3 天，并会在聊天中告知您。
- 返工或全额退款如果成果与您的需求说明不符且修改后仍未解决，或工作耗时超过交付期限的两倍，请在订单聊天中留言：我们将为您返工或全额退款。
问题与解答
这是完整的 SEO 审计吗？
不是。它把每个页面的事实信息收集到一张表格中；结论和修复由您负责。
能查我在 Google 上的排名吗？
不能。它不读取 Google、Amazon、LinkedIn 或社交网络：它们的条款禁止这样做。排名数据在您的搜索控制台账户中，而采集程序从不登录。
能遍历多大的网站？
几千个页面没问题，但按礼貌的节奏需要几个小时。高级版可从中断处继续，所以长时间的运行可以分段进行。
能读取我网站有密码保护的测试副本吗？
不能。它只读取公开页面，从不登录。没有密码的公开测试副本可以，密码也绝不会写进代码。
没有找到答案？