Parser website bằng Python thu thập dữ liệu công khai từ các trang vào CSV hoặc Excel: giá, danh mục sản phẩm, tin đăng

Ví dụ kết quả

def product_links(list_url: str) -> Iterator[str]:
    """Liên kết trang sản phẩm từ mọi trang của danh sách, theo nút “Tiếp”."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """Một trang mở công khai, với tốc độ vừa phải: nghỉ giữa các lần truy cập và thử lại vài lần khi lỗi."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s trả về %s, lần thử %d trên 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} không mở được sau 3 lần thử")

Về dịch vụ này

Parser thu thập dữ liệu bạn nhìn thấy trên các trang web công khai và lưu thành bảng: giá và tồn kho sản phẩm, danh mục hàng của nhà cung cấp cho cửa hàng của bạn, tin đăng, tin tuyển dụng, sự kiện hoặc bài viết. Hãy cho chúng tôi biết website và các trang cần lấy, liệt kê các trường bạn cần (tên, giá, liên kết, hình ảnh...) và gửi một hai trang đó đã lưu từ trình duyệt (File > Lưu trang thành) hoặc ảnh chụp màn hình. Chúng tôi viết parser bằng Python theo đúng cấu trúc thật của các trang đó, và kết quả được lưu dạng CSV, Excel hoặc JSON. Bạn nhận file nén gồm code, file cài đặt chứa địa chỉ và thời gian nghỉ giữa các trang, cùng README giải thích cách cài Python và chạy parser. Bạn chạy parser trên máy tính của mình, nên dữ liệu về thẳng tay bạn; chúng tôi không thu thập hay lưu dữ liệu đó giúp bạn. Parser chỉ đọc các trang mở công khai, với tốc độ vừa phải, và không bao giờ đăng nhập, vượt captcha hay cơ chế bảo vệ khác, hoặc thu thập dữ liệu cá nhân như tên, email hay số điện thoại của mọi người. Khi website đổi bố cục, parser có thể cần cập nhật. Việc bạn có được phép thu thập và sử dụng dữ liệu của một website theo điều khoản của họ hay không là trách nhiệm của bạn.

Bao gồm những gì

• Bạn nhận được gìFile ZIP gồm code Python, file cài đặt và README hướng dẫn từng bước; code cũng được hiển thị trên trang đơn hàng.
• Trường của bạn, bảng của bạnCác cột theo đúng thứ tự bạn cần
• Dựa trên trang thậtViết theo cấu trúc của các trang bạn gửi
• Tốc độ vừa phảiNghỉ giữa các trang, chỉnh trong file cài đặt
• Chạy trên máy tính của bạnWindows, macOS hoặc Linux, có Python
• Hướng dẫn dễ hiểuCần cài gì và chạy thế nào, từng bước một

Cách hoạt động

1. 1
   Số trangBạn gửi website, các trường cần lấy và một hai trang đã lưu
2. 2
   ParserChúng tôi viết code và hướng dẫn chạy
3. 3
   ChạyBạn chạy và kiểm tra những dòng đầu tiên của bảng
4. 4
   Chỉnh sửaBạn yêu cầu chỉnh sửa trong phạm vi gói và gửi thông báo lỗi nếu có

Chúng tôi cần gì từ bạn

Website và chính xác các trang cần lấy: liên kết tới một trang danh sách và một trang chi tiết, và ước chừng có bao nhiêu trang. Các trường bạn cần, theo thứ tự trong bảng, kèm ví dụ cho từng trường. Một hai trang đó lưu từ trình duyệt dạng HTML (File > Lưu trang thành) hoặc ảnh chụp màn hình, để parser bám theo cấu trúc thật của chúng. Định dạng file kết quả bạn cần (CSV, Excel hoặc JSON) và nơi bạn sẽ chạy parser.

Chúng tôi sẽ hỏi bạn:

• Website nào và những trang nào?
• Các trường bạn cần
• Khoảng bao nhiêu trang?
• File kết quả
• Parser còn cần làm gì khác

So sánh các gói

Hỏi đáp

Chưa tìm thấy câu trả lời? Hỏi chúng tôi