开发
成果示例
把园艺工具供应商的商品目录采集到 Excel
结果示例
| 商品编号 | 名称 | 价格 | 有货 | 重量 | 图片 |
|---|---|---|---|---|---|
| GT-1042 | 修枝剪,20 mm | 18.90 | 是 | 0.24 kg | …/gt-1042.jpg |
| GT-1187 | 折叠锯,210 mm | 24.50 | 是 | 0.31 kg | …/gt-1187.jpg |
| GT-2210 | 绿篱剪,波浪刃 | 39.00 | 否 | 1.10 kg | …/gt-2210.jpg |
| GT-3305 | 手铲,不锈钢 | 9.80 | 是 | 0.18 kg | …/gt-3305.jpg |
| GT-4120 | 园艺水管 25 m,1/2" | 42.00 | 是 | 2.90 kg | …/gt-4120.jpg |
示例文件中有 1,236 个商品,来自 52 个列表页。
部分代码
def product_links(list_url: str) -> Iterator[str]:
"""从列表的每一页获取商品页面链接,沿“下一页”继续翻页。"""
url: str | None = list_url
while url:
page = fetch(url)
for card in page.select("div.product-card a.title"):
yield urljoin(url, card["href"])
next_link = page.select_one("a.pagination-next")
url = urljoin(url, next_link["href"]) if next_link else None
def fetch(url: str) -> BeautifulSoup:
"""以礼貌的节奏读取一个公开页面:请求之间有间隔,出错时重试几次。"""
for attempt in range(3):
time.sleep(settings.delay_seconds)
response = session.get(url, timeout=30)
if response.status_code == 200:
return BeautifulSoup(response.text, "html.parser")
log.warning("%s 返回了 %s,第 %d 次尝试,共 3 次", url, response.status_code, attempt + 1)
raise ScraperError(f"{url} 尝试 3 次后仍无法打开")
**文件:**一个 ZIP 压缩包,内含 scraper.py、settings.ini(起始页面、请求间隔、文件名)、requirements.txt 以及说明如何安装和运行的 README。它只读取公开页面,每 2 秒读取一页,并会先查看网站的 robots.txt。客户在自己的电脑上运行。
**客户:**一家转售某供应商工具的园艺网店;供应商在网站上有公开的商品目录,但没有价目表文件。 **任务:**逐页读取目录的列表页,打开每个商品页面,把商品编号、名称、价格、库存、重量和主图链接保存到 Excel,每周比较一次价格。
客户及所有信息均为虚构。
服务介绍
这是一个现成的站点地图解析器:一个已经设计好的、适用于 sitemap.xml 文件的典型 Python 解析器,按您指定的网站设置好,无论是您自己的网站还是任何公开网站。它从站点地图读取地址清单,打开每个页面,保存做页面盘点所需的内容:地址、站点地图中的日期、响应状态、标题、元描述、H1,标准版起还有规范链接、H2 标题数量、字数和没有 alt 文字的图片。表格一眼就能看出哪些页面没有标题、描述重复或缺少 H1,这对改版、迁移或 SEO 检查之前很有帮助。您发来网站和您需要的字段。您在自己的电脑上运行。它只能看到站点地图里且对访客公开的页面,不评判 SEO,不提供建议,也不承诺搜索排名。
服务内容
- 您将得到一个 ZIP 压缩包,内含现成的 Python 站点地图解析器、一个含地址和页面间隔时间的设置文件,以及一份 README;代码也会显示在订单页面上。
- 来自站点地图sitemap.xml 中列出的每个地址
- 页面字段已备好状态、标题、描述、H1 等
- 缺漏一目了然空标题或重复标题在表格中很显眼
- 礼貌的节奏页面之间的间隔,在设置里调整
- 通俗易懂的指南分步骤说明如何安装 Python 并运行
服务流程
- 1页面数您提供网站、它的站点地图和您需要的字段
- 2设置我们把现成的解析器调整到这些页面,并编写指南
- 3运行您运行它,并检查表格的前几行
- 4修改您在套餐范围内提出修改,并发来出现的错误提示
需要您提供的信息
网站和它的 sitemap.xml 地址(通常在 /sitemap.xml),以及大约有多少页面。您需要的字段,按您的表格顺序,比如地址、状态、标题、描述、H1,标准版起还有规范链接和字数。结果文件:CSV、Excel,高级版还有 JSON。高级版还需要要对比的其他网站,以及多久运行一次。
我们会询问您:
- 哪个网站?
- 您需要的字段
- 大约有多少页面?
- 结果文件和其他网站
套餐对比
付款保障
您在下单时付款,但款项仅在您验收后才会结算。
- 固定价格付款后套餐价格不会变动。
- 款项先冻结付款时,这笔金额只是被冻结。您验收后,款项才会结算给平台。
- 交付前检查每份成果在送达您之前都会经过质量检查,验收前您可以在订单页面查看。
- 免费修改在需求说明范围内,您可以在套餐允许的次数内提出修改。
- 3 天后自动验收如果交付后 3 天内您既未验收也未提出修改,工作将自动验收。如果您在交付后于订单聊天中留言,订单将暂停自动验收;我们回复后,可能会重新开始计算 3 天,并会在聊天中告知您。
- 返工或全额退款如果成果与您的需求说明不符且修改后仍未解决,或工作耗时超过交付期限的两倍,请在订单聊天中留言:我们将为您返工或全额退款。
问题与解答
如果网站没有站点地图怎么办?
那就改为在文本文件里提供地址清单;解析器以同样的方式读取。它不会顺着链接爬取整个网站。
它会告诉我怎么改进 SEO 吗?
不会。它把数据整理成表格给您;改什么由您决定,或交给 SEO 检查来做。没有人能承诺搜索排名。
大网站要多久?
它按您设定的间隔以礼貌的节奏读取页面,所以几千页的网站要一小时或更久。高级版会从中断处继续。
我可以采集这些数据吗?
采集公开数据在很多情况下是允许的,但各网站的条款和各国的数据法律不同,所以您是否可以采集和使用,由您自己决定。解析器绝不登录、绕过防护或采集个人数据。
为什么比定制解析器便宜?
这是一个现成的典型站点地图解析器:它的字段和翻页方式已经设计好,我们把它调整到您指定的网站和您的列。特殊的网站和字段属于定制解析器服务。
没有找到答案?


