Một parser Python so sánh giá của cùng sản phẩm ở 3 cửa hàng trực tuyến mở trong một bảng

Ví dụ kết quả

def product_links(list_url: str) -> Iterator[str]:
    """Liên kết trang sản phẩm từ mọi trang của danh sách, theo nút “Tiếp”."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """Một trang mở công khai, với tốc độ vừa phải: nghỉ giữa các lần truy cập và thử lại vài lần khi lỗi."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s trả về %s, lần thử %d trên 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} không mở được sau 3 lần thử")

Về dịch vụ này

Parser này đặt giá của cùng sản phẩm từ tối đa ba cửa hàng trực tuyến mở cạnh nhau: mỗi sản phẩm một dòng, với giá, giá cũ, tồn kho và liên kết của từng cửa hàng, kèm ngày kiểm tra. Ba cửa hàng có ở gói Cao cấp; gói Cơ bản và Tiêu chuẩn đọc một cửa hàng, để bắt đầu hoặc chạy thử. Sản phẩm được ghép theo một mã mà các cửa hàng hiển thị, như mã vạch hoặc mã linh kiện của nhà sản xuất, hoặc theo các liên kết bạn liệt kê cho từng sản phẩm: chỉ dựa vào tên thì quá khác nhau để ghép an toàn. Hãy gửi các website, một trang sản phẩm của mỗi website đã lưu từ trình duyệt và danh sách sản phẩm của bạn. Bạn nhận code Python, file cài đặt và README, và chạy trên máy tính của mình. Parser đọc các trang mở công khai với tốc độ vừa phải, không bao giờ đăng nhập hay vượt captcha hoặc cơ chế bảo vệ, và không đọc Amazon hay Google. Bạn tự quyết định điều khoản của các cửa hàng có cho phép hay không; nếu sau này đổi bố cục thì parser cần được cập nhật.

Bao gồm những gì

• Bạn nhận được gìFile ZIP gồm code Python, file cài đặt và README hướng dẫn từng bước; code cũng được hiển thị trên trang đơn hàng.
• Mỗi sản phẩm một dòngGiá, tồn kho và liên kết của từng cửa hàng đặt cạnh nhau
• Ghép theo mã hoặc liên kết của bạnMã vạch, mã linh kiện của nhà sản xuất, hoặc liên kết bạn liệt kê
• Ngày kiểm traTrên từng dòng, để so sánh được các lần chạy
• Tốc độ vừa phảiNghỉ giữa các trang, chỉnh trong file cài đặt
• Chạy trên máy tính của bạnWindows, macOS hoặc Linux, có Python

Cách hoạt động

1. 1
   Cửa hàngBạn gửi các cửa hàng, trang sản phẩm đã lưu và danh sách sản phẩm
2. 2
   ParserChúng tôi viết code và hướng dẫn chạy
3. 3
   ChạyBạn chạy parser và kiểm tra vài dòng ở mỗi cửa hàng
4. 4
   Chỉnh sửaBạn yêu cầu chỉnh sửa trong phạm vi gói và gửi thông báo lỗi nếu có

Chúng tôi cần gì từ bạn

Ba cửa hàng (hoặc một, với gói Cơ bản và Tiêu chuẩn) và một trang sản phẩm của mỗi cửa hàng, lưu từ trình duyệt (File > Lưu trang thành). Danh sách sản phẩm của bạn kèm mã mà các cửa hàng hiển thị, như mã vạch, hoặc một bảng có liên kết của từng sản phẩm ở mọi cửa hàng. Các trường bạn cần cho mỗi cửa hàng, VD: giá, giá cũ, còn hàng, liên kết. Ước chừng bao nhiêu sản phẩm. CSV, Excel hoặc JSON.

Chúng tôi sẽ hỏi bạn:

• Những cửa hàng nào?
• Cách ghép sản phẩm
• Các trường cho mỗi cửa hàng
• Khoảng bao nhiêu sản phẩm?

So sánh các gói

Hỏi đáp

Chưa tìm thấy câu trả lời? Hỏi chúng tôi