成果範例
Parser of a garden tools supplier's catalog into Excel
What the result looks like
| Article | Name | Price | In stock | Weight | Photo |
|---|---|---|---|---|---|
| GT-1042 | Pruning shears, 20 mm | 18.90 | Yes | 0.24 kg | …/gt-1042.jpg |
| GT-1187 | Folding saw, 210 mm | 24.50 | Yes | 0.31 kg | …/gt-1187.jpg |
| GT-2210 | Hedge shears, wavy blade | 39.00 | No | 1.10 kg | …/gt-2210.jpg |
| GT-3305 | Hand trowel, stainless | 9.80 | Yes | 0.18 kg | …/gt-3305.jpg |
| GT-4120 | Garden hose 25 m, 1/2" | 42.00 | Yes | 2.90 kg | …/gt-4120.jpg |
The file in the example has 1,236 products from 52 list pages.
A part of the code
def product_links(list_url: str) -> Iterator[str]:
"""Product page links from every page of the list, following 'Next'."""
url: str | None = list_url
while url:
page = fetch(url)
for card in page.select("div.product-card a.title"):
yield urljoin(url, card["href"])
next_link = page.select_one("a.pagination-next")
url = urljoin(url, next_link["href"]) if next_link else None
def fetch(url: str) -> BeautifulSoup:
"""One open page, at a polite pace: a pause between requests and a few tries on errors."""
for attempt in range(3):
time.sleep(settings.delay_seconds)
response = session.get(url, timeout=30)
if response.status_code == 200:
return BeautifulSoup(response.text, "html.parser")
log.warning("%s answered %s, try %d of 3", url, response.status_code, attempt + 1)
raise ScraperError(f"{url} did not open after 3 tries")
Files: a ZIP archive with scraper.py, settings.ini (the start page, the pause between requests, the file name), requirements.txt and a README on installing and running it. It reads only open pages, one every 2 seconds, and checks the site's robots.txt first. The client runs it on their own computer.
Client: an online garden shop that resells a supplier's tools; the supplier has an open catalog on its website but no price list file. Task: go through the catalog's list pages, open every product page and save the article number, name, price, stock, weight and main photo link to Excel, to compare prices once a week.
客戶與所有細節皆為虛構。
關於此服務
在改寫、合併或刪除舊文章之前，您需要一份部落格現有內容的清單。這個爬蟲會逐頁讀取部落格公開的文章列表，開啟每篇文章並存成一列：連結、標題、發布日期和頁面上顯示的更新日期、分類、標籤、字數、小標數量、圖片和連結數量，以及 meta description。它最適合用在您自己的部落格，也能讀取競爭對手公開的部落格。請提供部落格網址、一篇文章，以及一兩個從瀏覽器另存的頁面。您會拿到 Python 程式碼、設定檔和 README，並在自己的電腦上執行。它提供的是事實而非評分，也不保證任何搜尋排名。它以和緩的速度讀取公開頁面，絕不登入、不繞過驗證碼或防護機制，也不擷取作者姓名。網站的使用條款是否允許，由您自行判斷；網站日後改版時，程式需要更新。
包含內容
- 您會得到一個 ZIP 壓縮檔，內含 Python 程式碼、設定檔和附逐步說明的 README；訂單頁面上也會顯示程式碼。
- 每篇文章的統計字數、小標、圖片和連結
- 日期與分類發布日期、更新日期、分類和標籤
- 標題與描述依頁面原文擷取，並附上長度
- 方便篩選在 Excel 中依日期或長度排序
- 和緩的速度頁面之間的間隔，可在設定中調整
服務流程
- 1部落格您提供部落格網址和一篇另存的文章
- 2爬蟲我們撰寫程式碼和執行說明
- 3執行您執行程式，並核對兩三篇文章的統計數字
- 4修改您在方案範圍內提出修改，並附上任何錯誤訊息
需要您提供的資料
部落格網址和其文章列表的連結、一篇文章，以及大約有多少篇文章。您需要的欄位，例如連結、標題、日期、分類、標籤、字數、小標、meta description。一兩個從瀏覽器另存的這類頁面（檔案 > 另存網頁）。這是您自己的部落格還是別人的，以及 CSV 或 Excel。
我們會詢問您：
- 哪個部落格？
- 您需要的欄位
- 大約有多少篇文章？
- 還有其他要求嗎？
比較方案
付款保障
下單時付款，但只有在驗收成果後，款項才會撥付。
- 固定價格付款後，方案價格不會變動。
- 款項先行保留付款時，金額只會先保留，在您驗收後才會撥付給服務。
- 交付前檢查每份成果在交到您手上之前都會經過品質檢查，您也可以在驗收前於訂單頁面查看成果。
- 免費修改在需求說明範圍內，可依方案允許的次數提出修改。
- 3 天後自動驗收若您在交付後 3 天內未驗收也未提出修改，成果將自動驗收。若您在交付後於訂單聊天室留言，訂單會暫停自動驗收；我們回覆後，可能會重新起算 3 天，並會在聊天室中告知。
- 重新製作或全額退款若成果不符合您的需求說明且修改後仍未改善，或製作時間超過交付期限的兩倍，請在訂單聊天室留言：我們將重新製作，或全額退還款項。
常見問題
它會告訴我該刪除哪些文章嗎？
不會。它把每篇文章的事實整理在一份表格裡；要改寫、合併或刪除哪些文章，由您決定。
它能為每篇文章加上搜尋流量嗎？
不行。流量資料在您的分析工具帳戶裡，而爬蟲絕不登入。請從分析工具匯出流量，再在 Excel 中依連結與表格合併。
它能讀取不是我的部落格嗎？
可以，只要是公開的，而其條款是否允許由您判斷。它不讀取社群平台、LinkedIn、Google 或 Amazon 內的部落格。
它適用於 WordPress 和其他部落格平台嗎？
適用，不論使用哪種平台，它都讀取公開頁面。如果部落格日後更換佈景主題，爬蟲需要更新，這算是一筆新訂單。
沒有找到您要的答案？