Парсер карты сайтаГотовые

Готовый парсер на Python: читает sitemap.xml сайта и сохраняет title, description и H1 каждой страницы

Обычно готово за 15 минутДоработки включеныКонтроль качества
Пакеты
Защита оплатыПодробнее
  • Доработки в рамках пакета бесплатны.
  • Если вы не ответите в течение 3 дней после сдачи, работа будет принята автоматически.

При оплате деньги резервируются и переходят сервису, только когда вы примете работу.

Готовый парсер на Python: читает sitemap.xml сайта и сохраняет title, description и H1 каждой страницы

Пример результата

Пример по пакету «Стандарт»

Парсер каталога поставщика садового инструмента в Excel

Как выглядит результат

АртикулНазваниеЦенаВ наличииВесФото
GT-1042Секатор, 20 мм18,90Да0,24 кг…/gt-1042.jpg
GT-1187Складная пила, 210 мм24,50Да0,31 кг…/gt-1187.jpg
GT-2210Ножницы для кустов, волнистое лезвие39,00Нет1,10 кг…/gt-2210.jpg
GT-3305Совок, нержавеющая сталь9,80Да0,18 кг…/gt-3305.jpg
GT-4120Садовый шланг 25 м, 1/2"42,00Да2,90 кг…/gt-4120.jpg

В файле из примера 1236 товаров с 52 страниц списка.

Фрагмент кода

def product_links(list_url: str) -> Iterator[str]:
    """Ссылки на карточки со всех страниц списка, по кнопке «Дальше»."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """Одна открытая страница, без спешки: пауза между запросами и несколько попыток при ошибке."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s ответил %s, попытка %d из 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} не открылся за 3 попытки")

Файлы: ZIP-архив с scraper.py, settings.ini (стартовая страница, пауза между запросами, имя файла), requirements.txt и README: как установить и запустить. Парсер читает только открытые страницы, одну раз в 2 секунды, и сначала проверяет robots.txt сайта. Клиент запускает его на своём компьютере.

Клиент: интернет-магазин товаров для сада, который перепродаёт инструмент поставщика. У поставщика открытый каталог на сайте, но нет прайс-листа файлом. Задача: пройти по страницам списка, открыть каждую карточку товара и сохранить в Excel артикул, название, цену, наличие, вес и ссылку на главное фото, чтобы раз в неделю сравнивать цены.

Клиент и все данные вымышлены.

Об услуге

Готовый парсер карты сайта — типовой парсер на Python, который мы уже продумали для файлов sitemap.xml и настраиваем под указанный вами сайт, ваш или любой открытый. Он читает из карты сайта список адресов, открывает каждую страницу и сохраняет то, что нужно для инвентаризации: адрес, дату из карты, код ответа, title, meta description, H1, а со Standard ещё canonical, число заголовков H2, число слов и картинки без alt. По таблице сразу видно, у каких страниц нет title, повторяется description или нет H1, — это помогает перед редизайном, переездом или SEO-проверкой. Вы присылаете сайт и нужные поля. Запускаете парсер вы на своём компьютере. Он видит только страницы из карты сайта, открытые посетителям, не оценивает SEO, не даёт советов и не обещает позиций в поиске.

Что входит

  • Что вы получитеАрхив ZIP с готовым парсером карты сайта на Python, файлом настроек с адресами и паузой между страницами и README; код также виден на странице заказа.
  • По карте сайтаКаждый адрес из sitemap.xml
  • Поля страниц готовыКод ответа, title, description, H1 и другое
  • Пробелы сразу видныПустые и повторённые title заметны в таблице
  • Спокойный темпПауза между страницами задаётся в настройках
  • Понятная инструкцияУстановка Python и запуск — по шагам

Порядок работы

  1. 1
    СтраницыВы даёте сайт, его карту и нужные поля
  2. 2
    НастройкаМы подгоняем готовый парсер под эти страницы и пишем инструкцию
  3. 3
    ЗапускВы запускаете его и проверяете первые строки таблицы
  4. 4
    ПравкиВы просите правки в рамках пакета и присылаете текст ошибки, если она есть

Что нужно от вас

Сайт и адрес его sitemap.xml, обычно /sitemap.xml, и примерно сколько на нём страниц. Нужные поля в порядке вашей таблицы, например адрес, код ответа, title, description, H1, а со Standard ещё canonical и число слов. Файл результатов: CSV, Excel или, в Premium, JSON. Для Premium — другие сайты для сравнения и как часто запускать.

В брифе мы спросим:

  • Какой сайт?
  • Нужные поля
  • Сколько примерно страниц?
  • Файл результатов и другие сайты

Сравнение пакетов

ПакетыЭконом16 $Стандарт33 $Бизнес58 $
Что входитЗаголовки страниц из спискаИндекс карт и страницыДо 3 сайтов
Срок1 день2 дня3 дня
Доработки123
Сайтов11до 3
Типов страниц12 (список и карточка)до 3
Полейдо 10до 25до 25 на каждом
Проход по страницам спискаНетДаДа
Файл результатовCSVExcel или CSVExcel, CSV или JSON
Без дублей, продолжение с места остановкиНетНетДа
Готовая версияКарта сайта и заголовкиКарта сайта и заголовкиКарта сайта и заголовки
Заказать ЭкономЗаказать СтандартЗаказать Бизнес

Защита оплаты

Вы оплачиваете заказ сразу, но деньги переходят сервису только за принятую работу.

  • Фиксированная ценаЦена пакета не меняется после оплаты.
  • Деньги резервируютсяПри оплате сумма только резервируется. Сервису она переходит, когда вы примете работу.
  • Проверка перед сдачейКаждый результат проходит проверку качества, прежде чем попасть к вам, и вы видите его на странице заказа до приёмки.
  • Бесплатные доработкиПросите изменения в рамках брифа столько раз, сколько предусмотрено пакетом.
  • Приёмка через 3 дняЕсли в течение 3 дней после сдачи вы не примете работу и не попросите изменений, она будет принята автоматически. Если после сдачи вы напишете в чат заказа, заказ подождёт; ответив, мы можем начать отсчёт 3 дней заново и сообщим об этом в чате.
  • Переделка или полный возвратЕсли результат не соответствует брифу и доработки не помогли или срок превышен больше чем вдвое, напишите в чат заказа: мы переделаем работу или полностью вернём деньги.
Как это работает →

Вопросы и ответы

Что, если у сайта нет карты?

Тогда дайте вместо неё список адресов в текстовом файле — парсер прочитает их так же. Обходить весь сайт по ссылкам он не будет.

Подскажет он, как исправить SEO?

Нет. Он даёт данные таблицей, а что менять, решаете вы или SEO-аудит. Позиции в поиске никто обещать не может.

Сколько займёт большой сайт?

Он читает страницы в спокойном темпе с паузой, которую вы задаёте, поэтому сайт на несколько тысяч страниц займёт час и больше. В Premium он продолжает с места остановки.

Можно ли мне собирать эти данные?

Сбор открытых данных во многих случаях разрешён, но правила сайтов и законы о данных в разных странах отличаются, поэтому решение, можно ли собирать и использовать данные, за вами. Парсер не входит в аккаунты, не обходит защиту и не собирает личные данные.

Почему он дешевле парсера на заказ?

Это готовый типовой парсер карты сайта: его поля и то, как он идёт по страницам, уже продуманы, а мы подгоняем его под указанный вами сайт и ваши столбцы. Необычные сайты и поля — это услуга парсера на заказ.

Не нашли ответ?

Пакеты