Một parser Python cho danh mục khóa học trực tuyến công khai: tên khóa học, trường, giá, thời lượng và hình thức trong một bảng

Ví dụ kết quả

def product_links(list_url: str) -> Iterator[str]:
    """Liên kết trang sản phẩm từ mọi trang của danh sách, theo nút “Tiếp”."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """Một trang mở công khai, với tốc độ vừa phải: nghỉ giữa các lần truy cập và thử lại vài lần khi lỗi."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s trả về %s, lần thử %d trên 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} không mở được sau 3 lần thử")

Về dịch vụ này

Trường học trực tuyến, trang tổng hợp khóa học và người so sánh các chương trình đào tạo dùng parser này để đưa một danh mục khóa học công khai vào bảng: tên khóa học, trường, chủ đề, trình độ, hình thức, thời lượng, ngày khai giảng, giá và giá cũ, số bài học, điểm đánh giá như hiển thị và liên kết. Hãy gửi trang danh mục, một trang khóa học và một hai trang đã lưu từ trình duyệt. Bạn nhận code Python, file cài đặt và README, và chạy trên máy tính của mình. Parser chép những gì các trang ghi; không đánh giá chất lượng khóa học hay hứa hẹn kết quả học tập. Tên giảng viên và đánh giá của học viên được để ngoài, nên bảng không chứa dữ liệu cá nhân. Parser đọc các trang mở công khai với tốc độ vừa phải và không bao giờ đăng nhập hay vượt captcha hoặc cơ chế bảo vệ. Bạn tự quyết định điều khoản của website có cho phép hay không; nếu sau này website đổi bố cục thì parser cần được cập nhật.

Bao gồm những gì

• Bạn nhận được gìFile ZIP gồm code Python, file cài đặt và README hướng dẫn từng bước; code cũng được hiển thị trên trang đơn hàng.
• Giá để so sánhGiá, giá cũ và trả góp ở các cột riêng
• Thời lượng và hình thứcSố tuần hoặc số giờ, học trực tiếp hay video quay sẵn, như trang ghi
• Chủ đề và trình độỞ các cột riêng để lọc
• Tốc độ vừa phảiNghỉ giữa các trang, chỉnh trong file cài đặt
• Chạy trên máy tính của bạnWindows, macOS hoặc Linux, có Python

Cách hoạt động

1. 1
   Danh mục hàngBạn gửi danh mục và một trang khóa học đã lưu
2. 2
   ParserChúng tôi viết code và hướng dẫn chạy
3. 3
   ChạyBạn chạy parser và so vài khóa học với website
4. 4
   Chỉnh sửaBạn yêu cầu chỉnh sửa trong phạm vi gói và gửi thông báo lỗi nếu có

Chúng tôi cần gì từ bạn

Website và chính xác các trang cần lấy: liên kết tới danh mục khóa học và một trang khóa học, và ước chừng có bao nhiêu khóa học. Các trường theo thứ tự trong bảng, VD: tên, trường, chủ đề, trình độ, hình thức, thời lượng, ngày khai giảng, giá, giá cũ, liên kết. Một hai trang đó lưu từ trình duyệt (File > Lưu trang thành) hoặc ảnh chụp màn hình. CSV hay Excel.

Chúng tôi sẽ hỏi bạn:

• Website và các trang nào?
• Các trường bạn cần
• Khoảng bao nhiêu khóa học?
• Chỉ một số khóa học?

So sánh các gói

Hỏi đáp

Chưa tìm thấy câu trả lời? Hỏi chúng tôi