Parser sitemapCó sẵn

Parser Python làm sẵn đọc sitemap.xml của website và lưu tiêu đề, mô tả và H1 của từng trang

Thường xong trong 15 phútBao gồm chỉnh sửaKiểm tra chất lượng
Các gói
Bảo vệ thanh toánChi tiết
  • Chỉnh sửa trong phạm vi gói là miễn phí.
  • Nếu bạn không phản hồi trong vòng 3 ngày sau khi bàn giao, kết quả sẽ được tự động chấp nhận.

Số tiền được tạm giữ khi bạn thanh toán và chỉ được chuyển khi bạn chấp nhận kết quả.

Parser Python làm sẵn đọc sitemap.xml của website và lưu tiêu đề, mô tả và H1 của từng trang

Ví dụ kết quả

Ví dụ cho gói Tiêu chuẩn

Parser danh mục hàng của nhà cung cấp dụng cụ làm vườn ra Excel

Kết quả trông thế nào

Mã hàngTênGiáCòn hàngTrọng lượngẢnh
GT-1042Kéo cắt cành, 20 mm18,90Có0,24 kg…/gt-1042.jpg
GT-1187Cưa gấp, 210 mm24,50Có0,31 kg…/gt-1187.jpg
GT-2210Kéo tỉa hàng rào, lưỡi lượn sóng39,00Không1,10 kg…/gt-2210.jpg
GT-3305Bay xúc đất cầm tay, thép không gỉ9,80Có0,18 kg…/gt-3305.jpg
GT-4120Ống tưới vườn 25 m, 1/2"42,00Có2,90 kg…/gt-4120.jpg

File trong ví dụ có 1.236 sản phẩm từ 52 trang danh sách.

Một phần code

def product_links(list_url: str) -> Iterator[str]:
    """Liên kết trang sản phẩm từ mọi trang của danh sách, theo nút “Tiếp”."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """Một trang mở công khai, với tốc độ vừa phải: nghỉ giữa các lần truy cập và thử lại vài lần khi lỗi."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s trả về %s, lần thử %d trên 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} không mở được sau 3 lần thử")

File bàn giao: file ZIP gồm scraper.py, settings.ini (trang bắt đầu, thời gian nghỉ giữa các lần truy cập, tên file), requirements.txt và README hướng dẫn cài đặt và chạy. Parser chỉ đọc các trang mở công khai, mỗi 2 giây một trang, và kiểm tra robots.txt của website trước. Khách hàng tự chạy parser trên máy tính của mình.

Khách hàng: một cửa hàng làm vườn trực tuyến bán lại dụng cụ của một nhà cung cấp; nhà cung cấp có danh mục hàng mở công khai trên website nhưng không có file bảng giá. Yêu cầu: đi qua các trang danh sách của danh mục, mở từng trang sản phẩm và lưu mã hàng, tên, giá, tồn kho, trọng lượng và liên kết ảnh chính vào Excel, để mỗi tuần so sánh giá một lần.

Khách hàng và mọi thông tin đều là giả định.

Về dịch vụ này

Parser sitemap làm sẵn: một parser Python điển hình đã được tính toán sẵn cho tệp sitemap.xml, thiết lập cho website bạn nêu, của bạn hoặc bất kỳ website mở nào. Nó đọc danh sách địa chỉ từ sitemap, mở từng trang và lưu những gì bạn cần cho bản kiểm kê: địa chỉ, ngày trong sitemap, trạng thái phản hồi, tiêu đề, meta description, H1 và, từ gói Tiêu chuẩn, canonical, số tiêu đề H2, số từ và ảnh thiếu alt. Bảng cho thấy ngay trang nào không có tiêu đề, mô tả bị trùng hoặc thiếu H1, hữu ích trước khi thiết kế lại, chuyển website hoặc rà soát SEO. Bạn gửi website và các trường cần có. Bạn chạy trên máy tính của mình. Nó chỉ thấy các trang có trong sitemap và mở cho khách truy cập, không đánh giá SEO hay đưa lời khuyên và không hứa hẹn vị trí nào trên tìm kiếm.

Bao gồm những gì

  • Bạn nhận được gìMột tệp ZIP gồm parser sitemap làm sẵn bằng Python, một tệp cài đặt với các địa chỉ và quãng nghỉ giữa các trang, và README; mã cũng hiển thị trên trang đơn hàng.
  • Từ sitemapMọi địa chỉ liệt kê trong sitemap.xml
  • Các trường của trang đã sẵn sàngTrạng thái, tiêu đề, mô tả, H1 và nhiều hơn
  • Dễ thấy chỗ thiếu sótTiêu đề trống hoặc lặp nổi bật trong bảng
  • Nhịp độ lịch sựQuãng nghỉ giữa các trang, đặt trong cài đặt
  • Hướng dẫn dễ hiểuCài Python và chạy, từng bước một

Cách hoạt động

  1. 1
    Các trangBạn đưa website, sitemap của nó và các trường cần có
  2. 2
    Thiết lậpChúng tôi điều chỉnh parser làm sẵn theo các trang đó và viết hướng dẫn
  3. 3
    ChạyBạn chạy và kiểm tra các dòng đầu tiên của bảng
  4. 4
    Thay đổiBạn yêu cầu thay đổi trong phạm vi gói của mình và gửi thông báo lỗi nếu có

Chúng tôi cần gì từ bạn

Website và địa chỉ sitemap.xml của nó, thường ở /sitemap.xml, và khoảng bao nhiêu trang. Các trường bạn cần theo thứ tự các cột của bảng, ví dụ địa chỉ, trạng thái, tiêu đề, mô tả, H1 và, từ gói Tiêu chuẩn, canonical và số từ. Tệp kết quả: CSV, Excel hoặc, ở gói Cao cấp, JSON. Với gói Cao cấp, các website khác để so sánh và chạy thường xuyên cỡ nào.

Chúng tôi sẽ hỏi bạn:

  • Website nào?
  • Các trường bạn cần
  • Khoảng bao nhiêu trang?
  • Tệp kết quả và các website khác

So sánh các gói

Các góiCơ bản434.000 ₫Tiêu chuẩn894.000 ₫Cao cấp1.572.000 ₫
Bao gồm những gìTiêu đề của các trang được liệt kêSitemap index và các trangTối đa 3 website
Thời hạn1 ngày2 ngày3 ngày
Số lần chỉnh sửa123
Website11tối đa 3
Loại trang12 (danh sách và sản phẩm)tối đa 3
Các trườngtối đa 10tối đa 25tối đa 25 mỗi loại
Đi qua các trang của một danh sáchKhôngCóCó
Tệp kết quảCSVExcel hoặc CSVExcel, CSV hoặc JSON
Xóa dòng trùng, tiếp tục từ chỗ đã dừngKhôngKhôngCó
Phiên bản làm sẵnSitemap và tiêu đề trangSitemap và tiêu đề trangSitemap và tiêu đề trang
Đặt hàng Cơ bảnĐặt hàng Tiêu chuẩnĐặt hàng Cao cấp

Bảo vệ thanh toán

Bạn thanh toán khi đặt hàng, nhưng tiền chỉ được chuyển cho kết quả đã được chấp nhận.

  • Giá cố địnhGiá gói không thay đổi sau khi bạn thanh toán.
  • Số tiền được tạm giữKhi bạn thanh toán, số tiền chỉ được tạm giữ. Tiền được chuyển cho dịch vụ khi bạn chấp nhận kết quả.
  • Kiểm tra trước khi bàn giaoMọi kết quả đều được kiểm tra chất lượng trước khi đến tay bạn, và bạn xem được kết quả trên trang đơn hàng trước khi chấp nhận.
  • Chỉnh sửa miễn phíYêu cầu chỉnh sửa trong phạm vi bản yêu cầu của bạn, với số lần mà gói cho phép.
  • Tự động chấp nhận sau 3 ngàyNếu trong vòng 3 ngày sau khi bàn giao, bạn không chấp nhận kết quả cũng không yêu cầu chỉnh sửa, kết quả sẽ được tự động chấp nhận. Nếu bạn nhắn tin trong chat đơn hàng sau khi bàn giao, đơn hàng sẽ chờ; sau khi trả lời, chúng tôi có thể tính lại 3 ngày từ đầu và sẽ thông báo trong chat.
  • Làm lại hoặc hoàn tiền toàn bộNếu kết quả không đúng với yêu cầu của bạn và các lần chỉnh sửa không khắc phục được, hoặc công việc kéo dài quá gấp đôi thời hạn, hãy nhắn tin trong chat đơn hàng: chúng tôi sẽ làm lại hoặc hoàn tiền toàn bộ.
Cách hoạt động →

Hỏi đáp

Nếu website không có sitemap thì sao?

Thì hãy đưa danh sách địa chỉ trong một tệp văn bản; parser đọc chúng theo cách tương tự. Nó không dò cả website theo từng liên kết.

Parser có cho tôi biết cách sửa SEO không?

Không. Nó cho bạn dữ liệu trong một bảng; thay đổi gì là quyết định của bạn hoặc việc của một bản rà soát SEO. Không ai có thể hứa hẹn vị trí trên tìm kiếm.

Website lớn mất bao lâu?

Nó đọc các trang với nhịp độ lịch sự và quãng nghỉ do bạn đặt, nên website vài nghìn trang mất một giờ hoặc hơn. Ở gói Cao cấp, nó tiếp tục từ chỗ đã dừng.

Tôi có được phép thu thập dữ liệu này không?

Thu thập dữ liệu công khai được phép trong nhiều trường hợp, nhưng điều khoản của website và luật dữ liệu khác nhau giữa các nước, nên bạn quyết định mình có được thu thập và sử dụng không. Parser không bao giờ đăng nhập, vượt cơ chế bảo vệ hay thu thập dữ liệu cá nhân.

Tại sao rẻ hơn parser theo yêu cầu?

Đây là parser sitemap điển hình, làm sẵn: các trường và cách di chuyển qua các trang đã được tính toán sẵn, và chúng tôi điều chỉnh theo website bạn nêu và các cột của bạn. Website và trường khác thường là dịch vụ parser theo yêu cầu.

Chưa tìm thấy câu trả lời?

Các gói