Parser tiêu đề tin tứcCó sẵn

Parser Python làm sẵn thu thập tiêu đề từ các website tin tức mở: tiêu đề, ngày, chuyên mục, đoạn dẫn ngắn và liên kết

Thường xong trong 15 phútBao gồm chỉnh sửaKiểm tra chất lượng
Các gói
Bảo vệ thanh toánChi tiết
  • Chỉnh sửa trong phạm vi gói là miễn phí.
  • Nếu bạn không phản hồi trong vòng 3 ngày sau khi bàn giao, kết quả sẽ được tự động chấp nhận.

Số tiền được tạm giữ khi bạn thanh toán và chỉ được chuyển khi bạn chấp nhận kết quả.

Parser Python làm sẵn thu thập tiêu đề từ các website tin tức mở: tiêu đề, ngày, chuyên mục, đoạn dẫn ngắn và liên kết

Ví dụ kết quả

Ví dụ cho gói Tiêu chuẩn

Parser danh mục hàng của nhà cung cấp dụng cụ làm vườn ra Excel

Kết quả trông thế nào

Mã hàngTênGiáCòn hàngTrọng lượngẢnh
GT-1042Kéo cắt cành, 20 mm18,90Có0,24 kg…/gt-1042.jpg
GT-1187Cưa gấp, 210 mm24,50Có0,31 kg…/gt-1187.jpg
GT-2210Kéo tỉa hàng rào, lưỡi lượn sóng39,00Không1,10 kg…/gt-2210.jpg
GT-3305Bay xúc đất cầm tay, thép không gỉ9,80Có0,18 kg…/gt-3305.jpg
GT-4120Ống tưới vườn 25 m, 1/2"42,00Có2,90 kg…/gt-4120.jpg

File trong ví dụ có 1.236 sản phẩm từ 52 trang danh sách.

Một phần code

def product_links(list_url: str) -> Iterator[str]:
    """Liên kết trang sản phẩm từ mọi trang của danh sách, theo nút “Tiếp”."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """Một trang mở công khai, với tốc độ vừa phải: nghỉ giữa các lần truy cập và thử lại vài lần khi lỗi."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s trả về %s, lần thử %d trên 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} không mở được sau 3 lần thử")

File bàn giao: file ZIP gồm scraper.py, settings.ini (trang bắt đầu, thời gian nghỉ giữa các lần truy cập, tên file), requirements.txt và README hướng dẫn cài đặt và chạy. Parser chỉ đọc các trang mở công khai, mỗi 2 giây một trang, và kiểm tra robots.txt của website trước. Khách hàng tự chạy parser trên máy tính của mình.

Khách hàng: một cửa hàng làm vườn trực tuyến bán lại dụng cụ của một nhà cung cấp; nhà cung cấp có danh mục hàng mở công khai trên website nhưng không có file bảng giá. Yêu cầu: đi qua các trang danh sách của danh mục, mở từng trang sản phẩm và lưu mã hàng, tên, giá, tồn kho, trọng lượng và liên kết ảnh chính vào Excel, để mỗi tuần so sánh giá một lần.

Khách hàng và mọi thông tin đều là giả định.

Về dịch vụ này

Parser tiêu đề tin tức làm sẵn: một parser Python điển hình đã được tính toán sẵn cho các trang tin tức, điều chỉnh theo website hoặc chuyên mục tin tức mở mà bạn nêu. Nó lưu tiêu đề, ngày giờ, chuyên mục, thẻ, đoạn dẫn ngắn mà website hiển thị và liên kết: đủ để theo dõi ngành của bạn, xem một chủ đề xuất hiện thường xuyên cỡ nào hoặc giữ danh sách đọc cho bản tin. Nó không sao chép toàn văn bài viết, vì chúng thuộc về nhà xuất bản; bảng chỉ dẫn đến chúng bằng liên kết. Nếu website có nguồn cấp RSS, parser có thể đọc nó, nhẹ nhàng hơn với website. Bạn gửi liên kết đến một trang chuyên mục và một bài viết, bản lưu của chúng và các trường cần có. Bạn tự chạy trên máy tính của mình. Nó chỉ đọc các trang mở với nhịp độ lịch sự, bỏ qua mọi thứ sau tường trả phí hoặc đăng nhập và không lưu bình luận hay mọi thứ có tên của độc giả.

Bao gồm những gì

  • Bạn nhận được gìMột tệp ZIP gồm parser tiêu đề tin tức làm sẵn bằng Python, một tệp cài đặt với các địa chỉ và quãng nghỉ giữa các trang, và README; mã cũng hiển thị trên trang đơn hàng.
  • Các trường tiêu đề đã sẵn sàngTiêu đề, ngày, chuyên mục, thẻ, đoạn dẫn, liên kết
  • Liên kết, không phải toàn vănBài viết vẫn thuộc về nhà xuất bản của chúng
  • Nhiều website cùng lúcTối đa 3 trong một bảng, ở gói Cao cấp
  • Nhịp độ lịch sựQuãng nghỉ giữa các trang, đặt trong cài đặt
  • Hướng dẫn dễ hiểuCài Python và chạy, từng bước một

Cách hoạt động

  1. 1
    Các trangBạn đưa website, chuyên mục, các trường và trang đã lưu
  2. 2
    Thiết lậpChúng tôi điều chỉnh parser làm sẵn theo các trang đó và viết hướng dẫn
  3. 3
    ChạyBạn chạy và kiểm tra các dòng đầu tiên của bảng
  4. 4
    Thay đổiBạn yêu cầu thay đổi trong phạm vi gói của mình và gửi thông báo lỗi nếu có

Chúng tôi cần gì từ bạn

Website tin tức mở và các trang chính xác: liên kết đến một trang chuyên mục hoặc thẻ và đến một bài viết. Các trường bạn cần theo thứ tự các cột của bảng, ví dụ tiêu đề, ngày, chuyên mục, đoạn dẫn và liên kết. Một hai trang trong số đó được lưu từ trình duyệt của bạn (File > Save page as) hoặc ảnh chụp màn hình, và liên kết RSS nếu website có. Tệp kết quả: CSV, Excel hoặc, ở gói Cao cấp, JSON. Với gói Cao cấp, các website khác và chạy thường xuyên cỡ nào.

Chúng tôi sẽ hỏi bạn:

  • Website nào và chuyên mục nào?
  • Các trường bạn cần
  • Từ khóa cần giữ
  • Tệp kết quả và chạy thường xuyên cỡ nào

So sánh các gói

Các góiCơ bản434.000 ₫Tiêu chuẩn840.000 ₫Cao cấp1.517.000 ₫
Bao gồm những gìTiêu đề từ một trangChuyên mục và bài viếtTối đa 3 website tin tức
Thời hạn1 ngày2 ngày3 ngày
Số lần chỉnh sửa123
Website11tối đa 3
Loại trang12 (danh sách và sản phẩm)tối đa 3
Các trườngtối đa 10tối đa 25tối đa 25 mỗi loại
Đi qua các trang của một danh sáchKhôngCóCó
Tệp kết quảCSVExcel hoặc CSVExcel, CSV hoặc JSON
Xóa dòng trùng, tiếp tục từ chỗ đã dừngKhôngKhôngCó
Phiên bản làm sẵnTiêu đề tin tứcTiêu đề tin tứcTiêu đề tin tức
Đặt hàng Cơ bảnĐặt hàng Tiêu chuẩnĐặt hàng Cao cấp

Bảo vệ thanh toán

Bạn thanh toán khi đặt hàng, nhưng tiền chỉ được chuyển cho kết quả đã được chấp nhận.

  • Giá cố địnhGiá gói không thay đổi sau khi bạn thanh toán.
  • Số tiền được tạm giữKhi bạn thanh toán, số tiền chỉ được tạm giữ. Tiền được chuyển cho dịch vụ khi bạn chấp nhận kết quả.
  • Kiểm tra trước khi bàn giaoMọi kết quả đều được kiểm tra chất lượng trước khi đến tay bạn, và bạn xem được kết quả trên trang đơn hàng trước khi chấp nhận.
  • Chỉnh sửa miễn phíYêu cầu chỉnh sửa trong phạm vi bản yêu cầu của bạn, với số lần mà gói cho phép.
  • Tự động chấp nhận sau 3 ngàyNếu trong vòng 3 ngày sau khi bàn giao, bạn không chấp nhận kết quả cũng không yêu cầu chỉnh sửa, kết quả sẽ được tự động chấp nhận. Nếu bạn nhắn tin trong chat đơn hàng sau khi bàn giao, đơn hàng sẽ chờ; sau khi trả lời, chúng tôi có thể tính lại 3 ngày từ đầu và sẽ thông báo trong chat.
  • Làm lại hoặc hoàn tiền toàn bộNếu kết quả không đúng với yêu cầu của bạn và các lần chỉnh sửa không khắc phục được, hoặc công việc kéo dài quá gấp đôi thời hạn, hãy nhắn tin trong chat đơn hàng: chúng tôi sẽ làm lại hoặc hoàn tiền toàn bộ.
Cách hoạt động →

Hỏi đáp

Parser có lưu toàn văn bài viết không?

Không. Bài viết là tác phẩm của nhà xuất bản. Parser lưu tiêu đề, đoạn dẫn ngắn mà website hiển thị và liên kết, để bạn đọc bài viết trên website.

Tôi có thể đăng lại các tiêu đề trên website của mình không?

Điều đó phụ thuộc vào điều khoản của nhà xuất bản và luật nước bạn, và quyết định là của bạn. Parser được làm để bạn tự theo dõi và lập danh sách đọc.

Nếu website đổi bố cục thì sao?

Parser hoạt động theo các trang như hiện nay. Sau khi thiết kế lại, nó cần cập nhật, đó là một đơn hàng mới. Nó đọc với nhịp độ lịch sự và không vượt qua các giới hạn mà website đặt ra.

Tôi có được phép thu thập dữ liệu này không?

Thu thập dữ liệu công khai được phép trong nhiều trường hợp, nhưng điều khoản của website và luật dữ liệu khác nhau giữa các nước, nên bạn quyết định mình có được thu thập và sử dụng không. Parser không bao giờ đăng nhập, vượt cơ chế bảo vệ hay thu thập dữ liệu cá nhân.

Tại sao rẻ hơn parser theo yêu cầu?

Đây là parser tiêu đề tin tức điển hình, làm sẵn: các trường và cách di chuyển qua các trang đã được tính toán sẵn, và chúng tôi điều chỉnh theo website bạn nêu và các cột của bạn. Website và trường khác thường là dịch vụ parser theo yêu cầu.

Chưa tìm thấy câu trả lời?

Các gói