โปรแกรมดึงข้อมูลเว็บไซต์ด้วย Python ที่รวบรวมข้อมูลสาธารณะจากหน้าเว็บลงใน CSV หรือ Excel: ราคา แคตตาล็อก ประกาศ

ตัวอย่างผลงาน

def product_links(list_url: str) -> Iterator[str]:
    """ลิงก์หน้าสินค้าจากทุกหน้าของรายการ โดยกดไปตามปุ่ม 'ถัดไป'"""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """เปิดหน้าเว็บสาธารณะหนึ่งหน้าแบบไม่เร่งรีบ: เว้นช่วงระหว่างคำขอและลองใหม่สองสามครั้งเมื่อเกิดข้อผิดพลาด"""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s ตอบกลับ %s ครั้งที่ %d จาก 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} เปิดไม่ได้หลังลอง 3 ครั้ง")

เกี่ยวกับบริการนี้

โปรแกรมดึงข้อมูลจะเก็บข้อมูลที่คุณเห็นได้บนหน้าเว็บสาธารณะและบันทึกเป็นตาราง: ราคาและสต็อกสินค้า แคตตาล็อกของซัพพลายเออร์สำหรับร้านของคุณ ประกาศ ประกาศงาน อีเวนต์ หรือบทความ บอกเราว่าเป็นเว็บไหนและหน้าใด ระบุฟิลด์ที่คุณต้องการ (ชื่อ ราคา ลิงก์ รูปภาพ และอื่น ๆ) และส่งหน้าเหล่านั้นหนึ่งหรือสองหน้าที่บันทึกจากเบราว์เซอร์ (File > Save page as) หรือภาพหน้าจอ เราเขียนโปรแกรมด้วย Python ตามโครงสร้างจริงของหน้าเหล่านั้น และโปรแกรมบันทึกผลลัพธ์เป็น CSV, Excel หรือ JSON คุณจะได้ไฟล์บีบอัดที่มีโค้ด ไฟล์ตั้งค่าพร้อมที่อยู่และการเว้นช่วงระหว่างหน้า และ README ที่อธิบายวิธีติดตั้ง Python และรันโปรแกรม คุณรันโปรแกรมบนคอมพิวเตอร์ของคุณเอง ข้อมูลจึงมาถึงคุณโดยตรง เราไม่ได้เก็บข้อมูลแทนคุณหรือเก็บรักษาไว้ โปรแกรมอ่านเฉพาะหน้าที่เปิดสาธารณะด้วยความเร็วที่สุภาพ ไม่เข้าสู่ระบบ ไม่หลบเลี่ยงแคปช่าหรือระบบป้องกันอื่น และไม่เก็บข้อมูลส่วนบุคคล เช่น ชื่อ อีเมล หรือเบอร์โทรศัพท์ของบุคคล เมื่อเว็บเปลี่ยนเลย์เอาต์ โปรแกรมอาจต้องมีการอัปเดต การที่คุณเก็บและใช้ข้อมูลของเว็บได้ตามข้อกำหนดของเว็บหรือไม่เป็นความรับผิดชอบของคุณ

สิ่งที่รวมอยู่ในบริการ

• สิ่งที่คุณจะได้รับไฟล์ ZIP ที่มีโค้ด Python ไฟล์ตั้งค่า และ README พร้อมคำแนะนำทีละขั้นตอน โค้ดยังแสดงบนหน้าคำสั่งซื้อด้วย
• ฟิลด์ของคุณ ตารางของคุณคอลัมน์ตามลำดับที่คุณต้องการ
• สร้างจากหน้าจริงเขียนตามโครงสร้างของหน้าที่คุณส่งมา
• ความเร็วที่สุภาพเว้นช่วงระหว่างหน้า ตั้งได้ในไฟล์ตั้งค่า
• รันบนคอมพิวเตอร์ของคุณWindows, macOS หรือ Linux พร้อม Python
• คู่มือที่เข้าใจง่ายต้องติดตั้งอะไรและรันอย่างไร ทีละขั้นตอน

วิธีการทำงาน

1. 1
   หน้าคุณให้เว็บ ฟิลด์ และหน้าที่บันทึกไว้หนึ่งหรือสองหน้า
2. 2
   โปรแกรมดึงข้อมูลเราเขียนโค้ดและคู่มือการรัน
3. 3
   รันคุณรันแล้วตรวจแถวแรก ๆ ของตาราง
4. 4
   การแก้ไขคุณขอแก้ไขได้ภายในแพ็กเกจและส่งข้อความแจ้งข้อผิดพลาดมาหากมี

สิ่งที่เราต้องการจากคุณ

เว็บและหน้าที่ต้องการ: ลิงก์ไปยังหน้ารายการและหน้ารายละเอียด และจำนวนหน้าโดยประมาณ ฟิลด์ที่คุณต้องการตามลำดับในตาราง พร้อมตัวอย่างของแต่ละฟิลด์ หน้าเหล่านั้นหนึ่งหรือสองหน้าที่บันทึกจากเบราว์เซอร์เป็น HTML (File > Save page as) หรือภาพหน้าจอ เพื่อให้โปรแกรมทำตามโครงสร้างจริง ไฟล์ผลลัพธ์ที่คุณต้องการ (CSV, Excel หรือ JSON) และคุณจะรันที่ไหน

เราจะถามคุณว่า:

• เว็บไหนและหน้าใด
• ฟิลด์ที่คุณต้องการ
• มีประมาณกี่หน้า
• ไฟล์ผลลัพธ์
• มีอะไรอื่นที่ควรทำไหม

เปรียบเทียบแพ็กเกจ

คำถามและคำตอบ

ไม่พบคำตอบใช่ไหม ถามเรา