Một parser Python kiểm tra sản phẩm còn hàng hay không trên một website mở và lưu từng tình trạng kèm ngày

Ví dụ kết quả

def product_links(list_url: str) -> Iterator[str]:
    """Liên kết trang sản phẩm từ mọi trang của danh sách, theo nút “Tiếp”."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """Một trang mở công khai, với tốc độ vừa phải: nghỉ giữa các lần truy cập và thử lại vài lần khi lỗi."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s trả về %s, lần thử %d trên 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} không mở được sau 3 lần thử")

Về dịch vụ này

Mỗi lần bạn chạy, parser này kiểm tra sản phẩm nào còn hàng trên một website mở, như website của nhà cung cấp hoặc của cửa hàng có hàng bạn bán lại, và lưu một bảng: tên, mã, tình trạng đúng như trang ghi, số lượng còn lại khi có hiển thị, thời gian giao hàng, giá, liên kết, cùng ngày giờ kiểm tra. Giữ lại file của mỗi lần chạy là bạn thấy được hàng nào đã về lại và hàng nào đã hết. Hãy gửi website, liên kết tới một danh mục và một trang sản phẩm, các tình trạng mà website dùng và một hai trang đã lưu từ trình duyệt. Bạn nhận code Python, file cài đặt và README, và chạy trên máy tính của mình. Parser chỉ đọc các trang mở công khai với tốc độ vừa phải và không bao giờ đăng nhập, vượt captcha hay cơ chế bảo vệ, hoặc thu thập dữ liệu cá nhân. Bạn tự quyết định điều khoản của website có cho phép hay không; nếu sau này website đổi bố cục thì parser cần được cập nhật.

Bao gồm những gì

• Bạn nhận được gìFile ZIP gồm code Python, file cài đặt và README hướng dẫn từng bước; code cũng được hiển thị trên trang đơn hàng.
• Tình trạng thành một cộtChữ của website, hoặc nhãn riêng của bạn như có / không / đặt trước
• Số lượng khi có hiển thịKhi trang cho biết còn lại bao nhiêu
• Dòng có ghi ngàyNgày giờ kiểm tra trên từng dòng
• Tốc độ vừa phảiNghỉ giữa các trang, chỉnh trong file cài đặt
• Chạy trên máy tính của bạnWindows, macOS hoặc Linux, có Python

Cách hoạt động

1. 1
   Số trangBạn gửi website, các sản phẩm và các tình trạng website dùng
2. 2
   ParserChúng tôi viết code và hướng dẫn chạy
3. 3
   Lần kiểm tra đầu tiênBạn chạy parser và so vài tình trạng với website
4. 4
   Chỉnh sửaBạn yêu cầu chỉnh sửa trong phạm vi gói và gửi thông báo lỗi nếu có

Chúng tôi cần gì từ bạn

Website và chính xác các trang cần lấy: liên kết tới một danh mục và một trang sản phẩm, hoặc danh sách liên kết sản phẩm của bạn, và ước chừng bao nhiêu sản phẩm. Các tình trạng tồn kho mà website hiển thị, viết đúng như trên trang. Các trường bạn cần ngoài tình trạng, VD: mã, giá, thời gian giao hàng. Một hai trang lưu từ trình duyệt (File > Lưu trang thành) hoặc ảnh chụp màn hình, tốt nhất là một trang còn hàng và một trang hết hàng. Bạn định chạy bao lâu một lần.

Chúng tôi sẽ hỏi bạn:

• Website và sản phẩm nào?
• Các tình trạng tồn kho
• Các trường khác
• Bạn sẽ kiểm tra bao lâu một lần?

So sánh các gói

Hỏi đáp

Chưa tìm thấy câu trả lời? Hỏi chúng tôi