開發
成果範例
Parser of a garden tools supplier's catalog into Excel
What the result looks like
| Article | Name | Price | In stock | Weight | Photo |
|---|---|---|---|---|---|
| GT-1042 | Pruning shears, 20 mm | 18.90 | Yes | 0.24 kg | …/gt-1042.jpg |
| GT-1187 | Folding saw, 210 mm | 24.50 | Yes | 0.31 kg | …/gt-1187.jpg |
| GT-2210 | Hedge shears, wavy blade | 39.00 | No | 1.10 kg | …/gt-2210.jpg |
| GT-3305 | Hand trowel, stainless | 9.80 | Yes | 0.18 kg | …/gt-3305.jpg |
| GT-4120 | Garden hose 25 m, 1/2" | 42.00 | Yes | 2.90 kg | …/gt-4120.jpg |
The file in the example has 1,236 products from 52 list pages.
A part of the code
def product_links(list_url: str) -> Iterator[str]:
"""Product page links from every page of the list, following 'Next'."""
url: str | None = list_url
while url:
page = fetch(url)
for card in page.select("div.product-card a.title"):
yield urljoin(url, card["href"])
next_link = page.select_one("a.pagination-next")
url = urljoin(url, next_link["href"]) if next_link else None
def fetch(url: str) -> BeautifulSoup:
"""One open page, at a polite pace: a pause between requests and a few tries on errors."""
for attempt in range(3):
time.sleep(settings.delay_seconds)
response = session.get(url, timeout=30)
if response.status_code == 200:
return BeautifulSoup(response.text, "html.parser")
log.warning("%s answered %s, try %d of 3", url, response.status_code, attempt + 1)
raise ScraperError(f"{url} did not open after 3 tries")
Files: a ZIP archive with scraper.py, settings.ini (the start page, the pause between requests, the file name), requirements.txt and a README on installing and running it. It reads only open pages, one every 2 seconds, and checks the site's robots.txt first. The client runs it on their own computer.
Client: an online garden shop that resells a supplier's tools; the supplier has an open catalog on its website but no price list file. Task: go through the catalog's list pages, open every product page and save the article number, name, price, stock, weight and main photo link to Excel, to compare prices once a week.
客戶與所有細節皆為虛構。
關於此服務
這是現成的價格爬取程式:已經設計好、適用於商店目錄的典型 Python 程式,依您指定的公開網路商店頁面調整。它收集任何訪客都看得到的內容:商品名稱、價格、原價、有無庫存、商品代碼、分類與連結,並連同執行日期存成表格,讓您追蹤價格變化,或與自己的商品比較。您寄來分類頁與商品頁的連結、這些頁面的儲存副本,以及您需要的欄位。您在自己的電腦上執行程式,所以資料直接送到您手上。它只以有禮貌的速度讀取公開頁面,絕不登入或繞過驗證碼或防護,也會略過評價及其他含有人名或聯絡方式的內容。需要登入才顯示的價格,或只在應用程式中顯示的價格,它無法取得。依商店的條款您是否可以蒐集這些資料,由您自行決定。
包含內容
- 您會收到什麼一個 ZIP 壓縮檔,內含現成的 Python 價格爬取程式、含網址與頁面間隔時間的設定檔,以及 README;程式碼也會顯示在訂單頁面。
- 價格欄位已備妥名稱、價格、原價、庫存、代碼、連結
- 附日期的資料列每次執行都有標記,方便追蹤價格變化
- 整個分類標準版起,會逐頁讀完整份清單
- 有禮貌的速度頁面間的間隔,在設定中調整
- 淺顯的指南安裝 Python 與執行,逐步說明
服務流程
- 1頁面您提供商店、欄位與一兩個儲存的頁面
- 2設定我們把現成的程式調整成適合那些頁面,並撰寫指南
- 3執行您執行它並檢查表格的前幾列
- 4修改您在方案範圍內提出修改,並寄來任何錯誤訊息
需要您提供的資料
公開的網路商店與確切的頁面:一個分類頁與一個商品頁的連結,以及大約有多少商品。您需要的欄位,依您表格的順序,例如名稱、價格、原價、有庫存、商品代碼與連結。一兩個從瀏覽器儲存的頁面(檔案 > 另存新檔)或截圖。結果檔案:CSV、Excel,進階版另有 JSON。進階版另需其他商店,以及多久執行一次。
我們會詢問您:
- 哪家商店?哪些頁面?
- 您需要的欄位
- 大約有多少商品?
- 結果檔案與執行頻率
比較方案
付款保障
下單時付款,但只有在驗收成果後,款項才會撥付。
- 固定價格付款後,方案價格不會變動。
- 款項先行保留付款時,金額只會先保留,在您驗收後才會撥付給服務。
- 交付前檢查每份成果在交到您手上之前都會經過品質檢查,您也可以在驗收前於訂單頁面查看成果。
- 免費修改在需求說明範圍內,可依方案允許的次數提出修改。
- 3 天後自動驗收若您在交付後 3 天內未驗收也未提出修改,成果將自動驗收。若您在交付後於訂單聊天室留言,訂單會暫停自動驗收;我們回覆後,可能會重新起算 3 天,並會在聊天室中告知。
- 重新製作或全額退款若成果不符合您的需求說明且修改後仍未改善,或製作時間超過交付期限的兩倍,請在訂單聊天室留言:我們將重新製作,或全額退還款項。
常見問題
可以從大型購物平台蒐集價格嗎?
通常不行:它們的條款禁止,許多頁面需要登入,而且使用爬取程式無法繞過的防護。它適合向每位訪客顯示價格的公開商店網站。
你們會替我蒐集價格嗎?
不會。您自己執行爬取程式,所以結果直接送到您手上,需要新價格時隨時可以再執行一次。
如果網站改版了怎麼辦?
爬取程式依頁面現在的樣子運作。改版後需要更新,那會是一筆新的訂單。它以有禮貌的速度讀取,也不會繞過網站設定的限制。
我可以蒐集這些資料嗎?
蒐集公開資料在許多情況下是允許的,但網站條款與資料法規因國家而異,所以是否可以蒐集與使用,由您自行決定。爬取程式絕不登入、繞過防護或蒐集個人資料。
為什麼比客製爬取程式便宜?
這是現成的典型價格爬取程式:欄位與翻頁的方式都已經設計好,我們依您指定的網站與您的欄位調整。特殊的網站與欄位屬於客製爬取程式服務。
沒有找到您要的答案?


