Một parser Python liệt kê mọi bài viết của blog để kiểm kê nội dung: tiêu đề, ngày, số từ và tiêu đề phụ

Ví dụ kết quả

def product_links(list_url: str) -> Iterator[str]:
    """Liên kết trang sản phẩm từ mọi trang của danh sách, theo nút “Tiếp”."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """Một trang mở công khai, với tốc độ vừa phải: nghỉ giữa các lần truy cập và thử lại vài lần khi lỗi."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s trả về %s, lần thử %d trên 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} không mở được sau 3 lần thử")

Về dịch vụ này

Trước khi viết lại, gộp hay xóa bài cũ, bạn cần một danh sách những gì blog đang có. Parser này đi qua danh sách bài viết công khai của blog, mở từng bài và lưu một dòng: liên kết, tiêu đề, ngày đăng và ngày cập nhật khi có hiển thị, chuyên mục, thẻ, số từ, số tiêu đề phụ, số hình ảnh và liên kết, và thẻ meta description. Parser hoạt động tốt nhất trên blog của chính bạn và cũng đọc được blog mở của đối thủ. Hãy gửi địa chỉ blog, một bài viết và một hai trang đã lưu từ trình duyệt. Bạn nhận code Python, file cài đặt và README, và chạy trên máy tính của mình. Parser đưa ra dữ kiện, không chấm điểm, và không hứa hẹn thứ hạng tìm kiếm. Parser đọc các trang mở công khai với tốc độ vừa phải, không bao giờ đăng nhập hay vượt captcha hoặc cơ chế bảo vệ, và bỏ tên tác giả. Bạn tự quyết định điều khoản của website có cho phép hay không; nếu sau này đổi bố cục thì parser cần được cập nhật.

Bao gồm những gì

• Bạn nhận được gìFile ZIP gồm code Python, file cài đặt và README hướng dẫn từng bước; code cũng được hiển thị trên trang đơn hàng.
• Số liệu cho từng bàiSố từ, tiêu đề phụ, hình ảnh và liên kết
• Ngày và chuyên mụcNgày đăng, ngày cập nhật, chuyên mục và thẻ
• Tiêu đề và mô tảĐúng như trong trang, kèm độ dài
• Sẵn sàng để lọcSắp xếp theo ngày hoặc độ dài trong Excel
• Tốc độ vừa phảiNghỉ giữa các trang, chỉnh trong file cài đặt

Cách hoạt động

1. 1
   BlogBạn gửi địa chỉ blog và một bài viết đã lưu
2. 2
   ParserChúng tôi viết code và hướng dẫn chạy
3. 3
   ChạyBạn chạy parser và kiểm tra số liệu của hai ba bài
4. 4
   Chỉnh sửaBạn yêu cầu chỉnh sửa trong phạm vi gói và gửi thông báo lỗi nếu có

Chúng tôi cần gì từ bạn

Địa chỉ blog và liên kết tới danh sách bài viết, một bài viết và ước chừng có bao nhiêu bài. Các trường bạn cần, VD: liên kết, tiêu đề, ngày, chuyên mục, thẻ, số từ, tiêu đề phụ, meta description. Một hai trang đó lưu từ trình duyệt (File > Lưu trang thành). Đó là blog của bạn hay blog khác, và CSV hay Excel.

Chúng tôi sẽ hỏi bạn:

• Blog nào?
• Các trường bạn cần
• Khoảng bao nhiêu bài viết?
• Parser còn cần làm gì khác

So sánh các gói

Hỏi đáp

Chưa tìm thấy câu trả lời? Hỏi chúng tôi