商品目录图片下载开发与定制

一个 Python 采集程序,把公开商品目录中的图片保存到文件夹,按商品编码命名,并附一张表格

通常15分钟内完成包含修改质量检查
套餐
付款保障详情
  • 套餐内的修改免费。
  • 如果交付后 3 天内您未作回应,工作将自动验收。

付款时款项会被冻结,仅在您验收后结算。

一个 Python 采集程序,把公开商品目录中的图片保存到文件夹,按商品编码命名,并附一张表格

成果示例

标准版套餐示例

把园艺工具供应商的商品目录采集到 Excel

结果示例

商品编号名称价格有货重量图片
GT-1042修枝剪,20 mm18.90是0.24 kg…/gt-1042.jpg
GT-1187折叠锯,210 mm24.50是0.31 kg…/gt-1187.jpg
GT-2210绿篱剪,波浪刃39.00否1.10 kg…/gt-2210.jpg
GT-3305手铲,不锈钢9.80是0.18 kg…/gt-3305.jpg
GT-4120园艺水管 25 m,1/2"42.00是2.90 kg…/gt-4120.jpg

示例文件中有 1,236 个商品,来自 52 个列表页。

部分代码

def product_links(list_url: str) -> Iterator[str]:
    """从列表的每一页获取商品页面链接,沿“下一页”继续翻页。"""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """以礼貌的节奏读取一个公开页面:请求之间有间隔,出错时重试几次。"""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s 返回了 %s,第 %d 次尝试,共 3 次", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} 尝试 3 次后仍无法打开")

**文件:**一个 ZIP 压缩包,内含 scraper.py、settings.ini(起始页面、请求间隔、文件名)、requirements.txt 以及说明如何安装和运行的 README。它只读取公开页面,每 2 秒读取一页,并会先查看网站的 robots.txt。客户在自己的电脑上运行。

**客户:**一家转售某供应商工具的园艺网店;供应商在网站上有公开的商品目录,但没有价目表文件。 **任务:**逐页读取目录的列表页,打开每个商品页面,把商品编号、名称、价格、库存、重量和主图链接保存到 Excel,每周比较一次价格。

客户及所有信息均为虚构。

服务介绍

当您把自己的商品目录迁移到新店铺,或供应商允许您使用其商品图片时,这个采集程序会把公开目录页面中的图片保存到一个文件夹,每个文件按商品编码命名,并附一张把编码、商品名称、图片链接和文件名对应起来的表格。请发来网站、一个分类页面和一个商品页面、一两个从浏览器保存的页面,以及文件的命名方式。您会收到 Python 代码、设置文件和 README,在自己的电脑上运行,所以文件会直接保存在您手中。请只保存您可以使用的图片:您自己的,或所有者允许使用的。文件按网站提供的原样保存。它以礼貌的节奏读取公开页面,从不登录,也不绕过验证码或任何防护。网站条款是否允许由您判断;网站日后改版时,需要更新程序。

服务内容

  • 您将获得一个 ZIP 压缩包,内含 Python 代码、设置文件和附分步说明的 README;订单页面上也能查看代码。
  • 按您的方式命名文件按商品编码命名,多张图片加 _1、_2、_3
  • 配套表格编码、商品名称、图片链接和文件名
  • 最大尺寸版本如果页面链接到更大的图片,就保存那一张
  • 礼貌的节奏页面之间的间隔,在设置中设定
  • 在您的电脑上运行Windows、macOS 或 Linux,需安装 Python

服务流程

  1. 1
    页面数您提供商品目录、一个保存好的商品页面和文件命名方式
  2. 2
    采集程序我们编写代码和运行说明
  3. 3
    运行您运行程序,并查看第一个图片文件夹
  4. 4
    修改您在套餐范围内提出修改,如有报错信息请一并发来

需要您提供的信息

网站和具体页面:一个分类页面和一个商品页面的链接,以及大约有多少个商品和图片。文件如何命名,例如按商品编码加 _1、_2。除文件名外您需要的表格字段。一两个从浏览器保存的此类页面(文件 > 网页另存为)。以及您确认这些图片是您自己的,或所有者允许您使用。

我们会询问您:

  • 哪个网站,哪些页面?
  • 文件如何命名
  • 大约多少张图片?
  • 这些图片归谁所有?

套餐对比

套餐基础版根据您的商品链接下载图片US$22标准版整个分类US$43高级版最多 3 个网站或栏目US$75
交付期限1 天2 天3 天
修改次数123
网站数11最多 3 个
页面类型数12 种(分类页和商品页)最多 3 个
字段数最多 10最多 25 个每种最多 25 个
列表翻页读取否是是
结果文件CSVExcel 或 CSVExcel、CSV 或 JSON
去除重复,可从中断处继续否否是
输出图片文件 + 表格图片文件 + 表格图片文件 + 表格
下单 基础版下单 标准版下单 高级版

付款保障

您在下单时付款,但款项仅在您验收后才会结算。

  • 固定价格付款后套餐价格不会变动。
  • 款项先冻结付款时,这笔金额只是被冻结。您验收后,款项才会结算给平台。
  • 交付前检查每份成果在送达您之前都会经过质量检查,验收前您可以在订单页面查看。
  • 免费修改在需求说明范围内,您可以在套餐允许的次数内提出修改。
  • 3 天后自动验收如果交付后 3 天内您既未验收也未提出修改,工作将自动验收。如果您在交付后于订单聊天中留言,订单将暂停自动验收;我们回复后,可能会重新开始计算 3 天,并会在聊天中告知您。
  • 返工或全额退款如果成果与您的需求说明不符且修改后仍未解决,或工作耗时超过交付期限的两倍,请在订单聊天中留言:我们将为您返工或全额退款。
运作方式 →

问题与解答

我能下载找到的任何图片吗?

不能。图片归其所有者所有,所以采集程序只用于您可以使用的图片:您自己的商品目录,或经供应商许可的图片。获得许可由您负责。

会调整图片尺寸或去除水印吗?

不会。文件按网站提供的原样保存,不缩放、不转换格式、不做编辑,我们也绝不去除水印。

能从 Google 图片、Amazon 或社交网络下载吗?

不能。Google、Amazon、LinkedIn 和社交网络都不在范围内:它们的条款禁止这样做,而且那里的图片属于许许多多不同的人。

需要多少磁盘空间?

取决于网站:商品图片通常每张 200 KB 到 1 MB。先在一个分类上运行,再按比例估算。

如果网站改版了怎么办?

采集程序是按页面现在的样子编写的。日后改版需要更新,这属于新订单。

没有找到答案?

套餐