成果範例
Parser of a garden tools supplier's catalog into Excel
What the result looks like
| Article | Name | Price | In stock | Weight | Photo |
|---|---|---|---|---|---|
| GT-1042 | Pruning shears, 20 mm | 18.90 | Yes | 0.24 kg | …/gt-1042.jpg |
| GT-1187 | Folding saw, 210 mm | 24.50 | Yes | 0.31 kg | …/gt-1187.jpg |
| GT-2210 | Hedge shears, wavy blade | 39.00 | No | 1.10 kg | …/gt-2210.jpg |
| GT-3305 | Hand trowel, stainless | 9.80 | Yes | 0.18 kg | …/gt-3305.jpg |
| GT-4120 | Garden hose 25 m, 1/2" | 42.00 | Yes | 2.90 kg | …/gt-4120.jpg |
The file in the example has 1,236 products from 52 list pages.
A part of the code
def product_links(list_url: str) -> Iterator[str]:
"""Product page links from every page of the list, following 'Next'."""
url: str | None = list_url
while url:
page = fetch(url)
for card in page.select("div.product-card a.title"):
yield urljoin(url, card["href"])
next_link = page.select_one("a.pagination-next")
url = urljoin(url, next_link["href"]) if next_link else None
def fetch(url: str) -> BeautifulSoup:
"""One open page, at a polite pace: a pause between requests and a few tries on errors."""
for attempt in range(3):
time.sleep(settings.delay_seconds)
response = session.get(url, timeout=30)
if response.status_code == 200:
return BeautifulSoup(response.text, "html.parser")
log.warning("%s answered %s, try %d of 3", url, response.status_code, attempt + 1)
raise ScraperError(f"{url} did not open after 3 tries")
Files: a ZIP archive with scraper.py, settings.ini (the start page, the pause between requests, the file name), requirements.txt and a README on installing and running it. It reads only open pages, one every 2 seconds, and checks the site's robots.txt first. The client runs it on their own computer.
Client: an online garden shop that resells a supplier's tools; the supplier has an open catalog on its website but no price list file. Task: go through the catalog's list pages, open every product page and save the article number, name, price, stock, weight and main photo link to Excel, to compare prices once a week.
客戶與所有細節皆為虛構。
關於此服務
線上學校、課程比較平台和想比較課程的人用這個爬蟲，把公開的課程目錄整理成表格：課程名稱、學校、主題、程度、形式、長度、開課日期、價格和原價、單元數、頁面顯示的評分和連結。請提供課程目錄頁、一個課程頁面，以及一兩個從瀏覽器另存的頁面。您會拿到 Python 程式碼、設定檔和 README，並在自己的電腦上執行。它照頁面內容擷取；不評斷課程品質，也不保證學習成果。講師姓名和學員評價不會擷取，所以表格裡沒有個人資料。它以和緩的速度讀取公開頁面，絕不登入、不繞過驗證碼或防護機制。網站的使用條款是否允許，由您自行判斷；網站日後改版時，程式需要更新。
包含內容
- 您會得到一個 ZIP 壓縮檔，內含 Python 程式碼、設定檔和附逐步說明的 README；訂單頁面上也會顯示程式碼。
- 可比較的價格價格、原價和分期金額分欄呈現
- 長度與形式週數或時數、直播或錄播，依頁面標示
- 主題與程度分欄呈現，方便篩選
- 和緩的速度頁面之間的間隔，可在設定中調整
- 在您的電腦上執行Windows、macOS 或 Linux，搭配 Python
服務流程
- 1型錄您提供課程目錄和一個另存的課程頁面
- 2爬蟲我們撰寫程式碼和執行說明
- 3執行您執行程式，並把幾門課程與網站核對
- 4修改您在方案範圍內提出修改，並附上任何錯誤訊息
需要您提供的資料
網站和具體頁面：課程目錄和一個課程頁面的連結，以及大約有多少門課程。依您表格順序排列的欄位，例如名稱、學校、主題、程度、形式、長度、開課日期、價格、原價、連結。一兩個從瀏覽器另存的這類頁面（檔案 > 另存網頁）或截圖。CSV 或 Excel。
我們會詢問您：
- 哪個網站、哪些頁面？
- 您需要的欄位
- 大約有多少門課程？
- 只要部分課程？
比較方案
付款保障
下單時付款，但只有在驗收成果後，款項才會撥付。
- 固定價格付款後，方案價格不會變動。
- 款項先行保留付款時，金額只會先保留，在您驗收後才會撥付給服務。
- 交付前檢查每份成果在交到您手上之前都會經過品質檢查，您也可以在驗收前於訂單頁面查看成果。
- 免費修改在需求說明範圍內，可依方案允許的次數提出修改。
- 3 天後自動驗收若您在交付後 3 天內未驗收也未提出修改，成果將自動驗收。若您在交付後於訂單聊天室留言，訂單會暫停自動驗收；我們回覆後，可能會重新起算 3 天，並會在聊天室中告知。
- 重新製作或全額退款若成果不符合您的需求說明且修改後仍未改善，或製作時間超過交付期限的兩倍，請在訂單聊天室留言：我們將重新製作，或全額退還款項。
常見問題
它能開啟課程內的單元嗎？
不行。單元需要學員登入才能觀看，而爬蟲絕不登入。它只讀取公開的課程目錄和課程頁面。
它能蒐集講師姓名或學員評價嗎？
不行。人名屬於個人資料，所以不會擷取。頁面有顯示評分數字時，可以列為一欄。
如果價格要選擇方案或註冊後才會顯示呢？
需要註冊才看得到的價格無法擷取。如果頁面點選分頁就會顯示方案，爬蟲可以用瀏覽器函式庫（Playwright）讀取。
可以蒐集課程目錄嗎？
各網站的使用條款和個資法規不同，所以能否蒐集和使用這些資料，由您判斷。無論如何，Google、Amazon、LinkedIn 和社群平台都在範圍之外。
沒有找到您要的答案？