Một parser Python thu thập tiêu đề tin tức công khai vào bảng: tiêu đề, ngày, chuyên mục, đoạn dẫn ngắn và liên kết

Ví dụ kết quả

def product_links(list_url: str) -> Iterator[str]:
    """Liên kết trang sản phẩm từ mọi trang của danh sách, theo nút “Tiếp”."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """Một trang mở công khai, với tốc độ vừa phải: nghỉ giữa các lần truy cập và thử lại vài lần khi lỗi."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s trả về %s, lần thử %d trên 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} không mở được sau 3 lần thử")

Về dịch vụ này

Người làm PR, chuyên viên phân tích và biên tập viên dùng parser này để lập bảng những gì các trang tin mở đăng tải: tiêu đề, ngày giờ, chuyên mục, thẻ, đoạn dẫn ngắn hiển thị trong danh sách và liên kết. Hãy gửi các trang danh sách tin bạn theo dõi, một trang tin và một hai trang đã lưu từ trình duyệt. Bạn nhận code Python kèm file cài đặt và README, và chạy trên máy tính của mình bất cứ khi nào cần danh sách mới. Parser lấy tiêu đề và đoạn dẫn, không lấy toàn bộ bài, vì nội dung thuộc về nhà xuất bản, và bỏ tên tác giả, nên bảng không chứa tên người nào. Parser đọc các trang mở công khai với tốc độ vừa phải và không bao giờ đăng nhập, vượt tường phí, captcha hay cơ chế bảo vệ. Bạn tự quyết định điều khoản của website có cho phép hay không; nếu sau này website đổi bố cục thì parser cần được cập nhật.

Bao gồm những gì

• Bạn nhận được gìFile ZIP gồm code Python, file cài đặt và README hướng dẫn từng bước; code cũng được hiển thị trên trang đơn hàng.
• Tiêu đề và đoạn dẫnĐúng như danh sách tin hiển thị
• Ngày cùng một định dạngĐể bạn sắp xếp và lọc theo ngày
• Chỉ chủ đề của bạnBộ lọc tùy chọn theo những từ bạn liệt kê
• Tốc độ vừa phảiNghỉ giữa các trang, chỉnh trong file cài đặt
• Chạy trên máy tính của bạnWindows, macOS hoặc Linux, có Python

Cách hoạt động

1. 1
   Nguồn tinBạn gửi các danh sách tin và một trang tin đã lưu
2. 2
   ParserChúng tôi viết code và hướng dẫn chạy
3. 3
   ChạyBạn chạy parser và so tiêu đề hôm nay với website
4. 4
   Chỉnh sửaBạn yêu cầu chỉnh sửa trong phạm vi gói và gửi thông báo lỗi nếu có

Chúng tôi cần gì từ bạn

Các trang tin và chính xác các trang danh sách hoặc chuyên mục bạn theo dõi, cùng một trang tin của mỗi website. Các trường bạn cần, VD: tiêu đề, ngày, giờ, chuyên mục, thẻ, đoạn dẫn, liên kết. Những từ cần giữ hoặc bỏ, nếu bạn muốn có bộ lọc. Một hai trang đó lưu từ trình duyệt (File > Lưu trang thành) hoặc ảnh chụp màn hình. Bạn sẽ chạy bao lâu một lần, và CSV hay Excel.

Chúng tôi sẽ hỏi bạn:

• Trang tin và chuyên mục nào?
• Các trường bạn cần
• Từ cần giữ
• Bạn sẽ chạy bao lâu một lần?

So sánh các gói

Hỏi đáp

Chưa tìm thấy câu trả lời? Hỏi chúng tôi