محلل مواقع بلغة Python يجمع البيانات العامة من الصفحات في CSV أو Excel: الأسعار، والكتالوجات، والإعلانات

مثال على النتيجة

def product_links(list_url: str) -> Iterator[str]:
    """روابط صفحات المنتجات من كل صفحات القائمة، مع اتباع رابط «التالي»."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """صفحة مفتوحة واحدة، بوتيرة مهذبة: فاصل زمني بين الطلبات وبضع محاولات عند الأخطاء."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s أجاب بالرمز %s، المحاولة %d من 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} لم تُفتح بعد 3 محاولات")

عن هذه الخدمة

يجمع المحلل البيانات التي تراها في صفحات الويب العامة ويحفظها كجدول: أسعار المنتجات وتوفرها، أو كتالوج مورّد لمتجرك، أو الإعلانات، أو إعلانات الوظائف، أو الفعاليات، أو المقالات. أخبرنا بالموقع والصفحات، واذكر الحقول التي تحتاجها (الاسم، والسعر، والرابط، والصورة وما إلى ذلك)، وأرسل صفحة أو صفحتين من تلك الصفحات محفوظتين من متصفحك (ملف > حفظ الصفحة باسم) أو لقطات شاشة لها. نكتب المحلل بلغة Python وفق البنية الفعلية لتلك الصفحات، ويحفظ النتائج بصيغة CSV أو Excel أو JSON. تحصل على أرشيف يضم الكود، وملف إعدادات بالعناوين والفاصل الزمني بين الصفحات، وملف README يشرح كيف تثبّت Python وتشغّله. تشغّل المحلل على كمبيوترك، فتصلك البيانات مباشرة؛ نحن لا نجمعها نيابة عنك ولا نحتفظ بها. يقرأ الصفحات المفتوحة فقط، بوتيرة مهذبة، ولا يسجّل الدخول أبدًا، ولا يتجاوز اختبارات captcha أو غيرها من وسائل الحماية، ولا يجمع بيانات شخصية مثل أسماء الأشخاص أو عناوين بريدهم الإلكتروني أو أرقام هواتفهم. حين يغيّر موقع تصميمه، قد يحتاج المحلل إلى تحديث. وما إذا كان يحق لك جمع بيانات موقع واستخدامها وفق شروطه فمسؤوليتك.

ما المشمول

• ما الذي تحصل عليهأرشيف ZIP يضم كود Python وملف إعدادات وملف README بتعليمات خطوة بخطوة؛ ويُعرض الكود أيضًا في صفحة الطلب.
• حقولك، جدولكالأعمدة بالترتيب الذي تحتاجه
• مبني على الصفحات الفعليةمكتوب وفق بنية الصفحات التي ترسلها
• وتيرة مهذبةفاصل زمني بين الصفحات يُضبط في الإعدادات
• يعمل على كمبيوتركWindows أو macOS أو Linux، مع Python
• دليل بسيطما الذي يجب تثبيته وكيف تشغّله، خطوة بخطوة

كيف يعمل

1. 1
   الصفحاتترسل الموقع والحقول وصفحة أو صفحتين محفوظتين
2. 2
   المحللنكتب الكود مع دليل تشغيله
3. 3
   التنفيذتشغّله وتتحقق من الصفوف الأولى في الجدول
4. 4
   التعديلاتتطلب التعديلات ضمن باقتك وترسل أي رسالة خطأ

ما نحتاجه منك

الموقع والصفحات المحددة: رابط إلى قائمة وآخر إلى صفحة عنصر، وعدد الصفحات تقريبًا. الحقول التي تحتاجها، بترتيب جدولك، مع مثال لكل منها. صفحة أو صفحتان من تلك الصفحات محفوظتان من متصفحك بصيغة HTML (ملف > حفظ الصفحة باسم) أو لقطات شاشة، ليتبع المحلل بنيتها الفعلية. ملف النتائج الذي تحتاجه (CSV أو Excel أو JSON) وأين ستشغّله.

سنسألك:

• أي موقع وأي صفحات؟
• الحقول التي تحتاجها
• كم عدد الصفحات تقريبًا؟
• ملف النتائج
• أي شيء آخر يجب أن يفعله

قارن بين الباقات

الأسئلة والأجوبة

لم تجد إجابتك؟ اسألنا