Парсер новостейГотовые

Готовый парсер заголовков новостей на Python с открытых сайтов: заголовок, дата, раздел, короткий анонс и ссылка

Обычно готово за 15 минутДоработки включеныКонтроль качества
Пакеты
Защита оплатыПодробнее
  • Доработки в рамках пакета бесплатны.
  • Если вы не ответите в течение 3 дней после сдачи, работа будет принята автоматически.

При оплате деньги резервируются и переходят сервису, только когда вы примете работу.

Готовый парсер заголовков новостей на Python с открытых сайтов: заголовок, дата, раздел, короткий анонс и ссылка

Пример результата

Пример по пакету «Стандарт»

Парсер каталога поставщика садового инструмента в Excel

Как выглядит результат

АртикулНазваниеЦенаВ наличииВесФото
GT-1042Секатор, 20 мм18,90Да0,24 кг…/gt-1042.jpg
GT-1187Складная пила, 210 мм24,50Да0,31 кг…/gt-1187.jpg
GT-2210Ножницы для кустов, волнистое лезвие39,00Нет1,10 кг…/gt-2210.jpg
GT-3305Совок, нержавеющая сталь9,80Да0,18 кг…/gt-3305.jpg
GT-4120Садовый шланг 25 м, 1/2"42,00Да2,90 кг…/gt-4120.jpg

В файле из примера 1236 товаров с 52 страниц списка.

Фрагмент кода

def product_links(list_url: str) -> Iterator[str]:
    """Ссылки на карточки со всех страниц списка, по кнопке «Дальше»."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """Одна открытая страница, без спешки: пауза между запросами и несколько попыток при ошибке."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s ответил %s, попытка %d из 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} не открылся за 3 попытки")

Файлы: ZIP-архив с scraper.py, settings.ini (стартовая страница, пауза между запросами, имя файла), requirements.txt и README: как установить и запустить. Парсер читает только открытые страницы, одну раз в 2 секунды, и сначала проверяет robots.txt сайта. Клиент запускает его на своём компьютере.

Клиент: интернет-магазин товаров для сада, который перепродаёт инструмент поставщика. У поставщика открытый каталог на сайте, но нет прайс-листа файлом. Задача: пройти по страницам списка, открыть каждую карточку товара и сохранить в Excel артикул, название, цену, наличие, вес и ссылку на главное фото, чтобы раз в неделю сравнивать цены.

Клиент и все данные вымышлены.

Об услуге

Готовый парсер заголовков новостей — типовой парсер на Python, который мы уже продумали для новостных страниц и подгоняем под указанный вами открытый сайт или раздел. Он сохраняет заголовок, дату и время, раздел, теги, короткий анонс, который показывает сайт, и ссылку: этого хватает, чтобы следить за новостями отрасли, видеть, как часто всплывает тема, или собирать подборку для рассылки. Полные тексты статей он не копирует — они принадлежат изданиям, а таблица ведёт на них ссылками. Если у сайта есть RSS-лента, парсер может читать её — так бережнее для сайта. Вы присылаете ссылки на страницу раздела и на одну статью, их сохранённые копии и нужные поля. Запускаете парсер вы на своём компьютере. Он читает только открытые страницы в спокойном темпе, пропускает всё, что за платной подпиской или входом, и не сохраняет комментарии и всё, где есть имена читателей.

Что входит

  • Что вы получитеАрхив ZIP с готовым парсером заголовков новостей на Python, файлом настроек с адресами и паузой между страницами и README; код также виден на странице заказа.
  • Поля новостей готовыЗаголовок, дата, раздел, теги, анонс, ссылка
  • Ссылки, а не полные текстыСтатьи остаются у изданий
  • Несколько сайтов вместеДо 3 в одной таблице — в Premium
  • Спокойный темпПауза между страницами задаётся в настройках
  • Понятная инструкцияУстановка Python и запуск — по шагам

Порядок работы

  1. 1
    СтраницыВы даёте сайт, раздел, поля и сохранённые страницы
  2. 2
    НастройкаМы подгоняем готовый парсер под эти страницы и пишем инструкцию
  3. 3
    ЗапускВы запускаете его и проверяете первые строки таблицы
  4. 4
    ПравкиВы просите правки в рамках пакета и присылаете текст ошибки, если она есть

Что нужно от вас

Открытый новостной сайт и конкретные страницы: ссылка на страницу раздела или тега и на одну статью. Нужные поля в порядке вашей таблицы, например заголовок, дата, раздел, анонс и ссылка. Одна-две такие страницы, сохранённые из браузера («Файл» > «Сохранить страницу как»), или их скриншоты и ссылка на RSS, если она есть. Файл результатов: CSV, Excel или, в Premium, JSON. Для Premium — другие сайты и как часто запускать.

В брифе мы спросим:

  • Какой сайт и раздел?
  • Нужные поля
  • Слова для отбора
  • Файл результатов и как часто

Сравнение пакетов

ПакетыЭконом16 $Стандарт31 $Бизнес56 $
Что входитЗаголовки с одной страницыРаздел и статьиДо 3 новостных сайтов
Срок1 день2 дня3 дня
Доработки123
Сайтов11до 3
Типов страниц12 (список и карточка)до 3
Полейдо 10до 25до 25 на каждом
Проход по страницам спискаНетДаДа
Файл результатовCSVExcel или CSVExcel, CSV или JSON
Без дублей, продолжение с места остановкиНетНетДа
Готовая версияЗаголовки новостейЗаголовки новостейЗаголовки новостей
Заказать ЭкономЗаказать СтандартЗаказать Бизнес

Защита оплаты

Вы оплачиваете заказ сразу, но деньги переходят сервису только за принятую работу.

  • Фиксированная ценаЦена пакета не меняется после оплаты.
  • Деньги резервируютсяПри оплате сумма только резервируется. Сервису она переходит, когда вы примете работу.
  • Проверка перед сдачейКаждый результат проходит проверку качества, прежде чем попасть к вам, и вы видите его на странице заказа до приёмки.
  • Бесплатные доработкиПросите изменения в рамках брифа столько раз, сколько предусмотрено пакетом.
  • Приёмка через 3 дняЕсли в течение 3 дней после сдачи вы не примете работу и не попросите изменений, она будет принята автоматически. Если после сдачи вы напишете в чат заказа, заказ подождёт; ответив, мы можем начать отсчёт 3 дней заново и сообщим об этом в чате.
  • Переделка или полный возвратЕсли результат не соответствует брифу и доработки не помогли или срок превышен больше чем вдвое, напишите в чат заказа: мы переделаем работу или полностью вернём деньги.
Как это работает →

Вопросы и ответы

Может он сохранять полный текст статей?

Нет. Статьи — труд изданий. Парсер сохраняет заголовок, короткий анонс, который показывает сайт, и ссылку, а саму статью вы читаете на сайте.

Можно публиковать заголовки у себя на сайте?

Это зависит от правил издания и закона вашей страны, и решение за вами. Парсер сделан для вашего собственного мониторинга и подборок.

Что, если сайт поменяет вёрстку?

Парсер работает по страницам в их нынешнем виде. После переделки сайта его нужно доработать — это новый заказ. Он читает в спокойном темпе и не обходит ограничения, которые ставит сайт.

Можно ли мне собирать эти данные?

Сбор открытых данных во многих случаях разрешён, но правила сайтов и законы о данных в разных странах отличаются, поэтому решение, можно ли собирать и использовать данные, за вами. Парсер не входит в аккаунты, не обходит защиту и не собирает личные данные.

Почему он дешевле парсера на заказ?

Это готовый типовой парсер заголовков новостей: его поля и то, как он идёт по страницам, уже продуманы, а мы подгоняем его под указанный вами сайт и ваши столбцы. Необычные сайты и поля — это услуга парсера на заказ.

Не нашли ответ?

Пакеты