房屋物件爬取程式現成可用

現成的 Python 程式,爬取公開房屋物件:價格、坪數、房間數、樓層、地區與連結整理在表格中

通常 15 分鐘內完成含修改次數品質檢查
方案
付款保障詳細資訊
  • 方案內的修改免費。
  • 若您在交付後 3 天內未回應,成果將自動驗收。

付款時款項會先保留,在您驗收後才會撥付。

現成的 Python 程式,爬取公開房屋物件:價格、坪數、房間數、樓層、地區與連結整理在表格中

成果範例

標準版方案範例

Parser of a garden tools supplier's catalog into Excel

What the result looks like

ArticleNamePriceIn stockWeightPhoto
GT-1042Pruning shears, 20 mm18.90Yes0.24 kg…/gt-1042.jpg
GT-1187Folding saw, 210 mm24.50Yes0.31 kg…/gt-1187.jpg
GT-2210Hedge shears, wavy blade39.00No1.10 kg…/gt-2210.jpg
GT-3305Hand trowel, stainless9.80Yes0.18 kg…/gt-3305.jpg
GT-4120Garden hose 25 m, 1/2"42.00Yes2.90 kg…/gt-4120.jpg

The file in the example has 1,236 products from 52 list pages.

A part of the code

def product_links(list_url: str) -> Iterator[str]:
    """Product page links from every page of the list, following 'Next'."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """One open page, at a polite pace: a pause between requests and a few tries on errors."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s answered %s, try %d of 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} did not open after 3 tries")

Files: a ZIP archive with scraper.py, settings.ini (the start page, the pause between requests, the file name), requirements.txt and a README on installing and running it. It reads only open pages, one every 2 seconds, and checks the site's robots.txt first. The client runs it on their own computer.

Client: an online garden shop that resells a supplier's tools; the supplier has an open catalog on its website but no price list file. Task: go through the catalog's list pages, open every product page and save the article number, name, price, stock, weight and main photo link to Excel, to compare prices once a week.

客戶與所有細節皆為虛構。

關於此服務

這是現成的房屋物件爬取程式:已經設計好、適用於物件網站的典型 Python 程式,依您指定的仲介公司、建商或分類廣告網站的公開頁面調整。它儲存每則物件向所有人顯示的欄位:出售或出租、類型、價格、坪數、房間數、樓層、依物件所寫的地區或街道、日期與連結。這樣的表格有助於比較某個地區每平方公尺的開價,或留意新上架的物件。您寄來含篩選條件的搜尋連結與一則物件的連結、這些頁面的儲存副本,以及您需要的欄位。您自己在您的電腦上執行。它絕不儲存屋主或仲介的姓名或電話,不登入,也會略過只對註冊會員顯示的內容。它只蒐集開價:不評估房產價值,也不提供交易建議。網站改版時,爬取程式需要更新。

包含內容

  • 您會收到什麼一個 ZIP 壓縮檔,內含現成的 Python 房屋物件爬取程式、含網址與頁面間隔時間的設定檔,以及 README;程式碼也會顯示在訂單頁面。
  • 物件欄位已備妥交易、類型、價格、坪數、房間數、樓層、地區
  • 不含屋主聯絡方式絕不儲存姓名與電話
  • 您的篩選條件您在網站上設定的搜尋
  • 有禮貌的速度頁面間的間隔,在設定中調整
  • 淺顯的指南安裝 Python 與執行,逐步說明

服務流程

  1. 1
    頁面您提供網站、搜尋條件、欄位與儲存的頁面
  2. 2
    設定我們把現成的程式調整成適合那些頁面,並撰寫指南
  3. 3
    執行您執行它並檢查表格的前幾列
  4. 4
    修改您在方案範圍內提出修改,並寄來任何錯誤訊息

需要您提供的資料

公開的房屋網站與確切的頁面:一個含您篩選條件的搜尋連結(例如某個地區出售的兩房公寓)與一則物件的連結。依您表格順序列出的所需欄位,例如價格、坪數、房間數、樓層、地區與連結。一兩個從瀏覽器儲存的頁面(檔案 > 另存新檔)或截圖。結果檔案:CSV、Excel,進階版另有 JSON。進階版另需其他網站,以及多久執行一次。

我們會詢問您:

  • 哪個網站?哪項搜尋?
  • 您需要的欄位
  • 大約有多少物件?
  • 結果檔案與執行頻率

比較方案

方案基本版US$17標準版US$32進階版US$59
包含內容來自您連結的物件整個搜尋最多 3 個房屋網站
交付期限1 天2 天3 天
修改次數123
網站11最多 3
頁面類型12(清單與單品)最多 3
欄位最多 10 個最多 25每種最多 25 個
逐頁讀取清單無有有
結果檔案CSVExcel 或 CSVExcel、CSV 或 JSON
移除重複,並從中斷處繼續無無有
現成版本房屋物件房屋物件房屋物件
訂購 基本版訂購 標準版訂購 進階版

付款保障

下單時付款,但只有在驗收成果後,款項才會撥付。

  • 固定價格付款後,方案價格不會變動。
  • 款項先行保留付款時,金額只會先保留,在您驗收後才會撥付給服務。
  • 交付前檢查每份成果在交到您手上之前都會經過品質檢查,您也可以在驗收前於訂單頁面查看成果。
  • 免費修改在需求說明範圍內,可依方案允許的次數提出修改。
  • 3 天後自動驗收若您在交付後 3 天內未驗收也未提出修改,成果將自動驗收。若您在交付後於訂單聊天室留言,訂單會暫停自動驗收;我們回覆後,可能會重新起算 3 天,並會在聊天室中告知。
  • 重新製作或全額退款若成果不符合您的需求說明且修改後仍未改善,或製作時間超過交付期限的兩倍,請在訂單聊天室留言:我們將重新製作,或全額退還款項。
運作方式 →

常見問題

它會蒐集賣家的電話號碼嗎?

不會。屋主與仲介的姓名及電話屬於個人資料,爬取程式絕不儲存。您會拿到每則物件的連結,可在該處聯絡賣家。

它會告訴我一間公寓的市場價格嗎?

不會。它蒐集的是物件所顯示的開價。如何解讀這些資料,以及任何估價或交易,由您和您的顧問決定。

如果網站改版了怎麼辦?

爬取程式依頁面現在的樣子運作。改版後需要更新,那會是一筆新的訂單。它以有禮貌的速度讀取,也不會繞過網站設定的限制。

我可以蒐集這些資料嗎?

蒐集公開資料在許多情況下是允許的,但網站條款與資料法規因國家而異,所以是否可以蒐集與使用,由您自行決定。爬取程式絕不登入、繞過防護或蒐集個人資料。

為什麼比客製爬取程式便宜?

這是現成的典型房屋物件爬取程式:欄位與翻頁的方式都已經設計好,我們依您指定的網站與您的欄位調整。特殊的網站與欄位屬於客製爬取程式服務。

沒有找到您要的答案?

方案