Парсер ценГотовые

Готовый парсер цен товаров на Python с открытого интернет-магазина: название, цена, старая цена, наличие и ссылка

Обычно готово за 15 минутДоработки включеныКонтроль качества
Пакеты
Защита оплатыПодробнее
  • Доработки в рамках пакета бесплатны.
  • Если вы не ответите в течение 3 дней после сдачи, работа будет принята автоматически.

При оплате деньги резервируются и переходят сервису, только когда вы примете работу.

Готовый парсер цен товаров на Python с открытого интернет-магазина: название, цена, старая цена, наличие и ссылка

Пример результата

Пример по пакету «Стандарт»

Парсер каталога поставщика садового инструмента в Excel

Как выглядит результат

АртикулНазваниеЦенаВ наличииВесФото
GT-1042Секатор, 20 мм18,90Да0,24 кг…/gt-1042.jpg
GT-1187Складная пила, 210 мм24,50Да0,31 кг…/gt-1187.jpg
GT-2210Ножницы для кустов, волнистое лезвие39,00Нет1,10 кг…/gt-2210.jpg
GT-3305Совок, нержавеющая сталь9,80Да0,18 кг…/gt-3305.jpg
GT-4120Садовый шланг 25 м, 1/2"42,00Да2,90 кг…/gt-4120.jpg

В файле из примера 1236 товаров с 52 страниц списка.

Фрагмент кода

def product_links(list_url: str) -> Iterator[str]:
    """Ссылки на карточки со всех страниц списка, по кнопке «Дальше»."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """Одна открытая страница, без спешки: пауза между запросами и несколько попыток при ошибке."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s ответил %s, попытка %d из 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} не открылся за 3 попытки")

Файлы: ZIP-архив с scraper.py, settings.ini (стартовая страница, пауза между запросами, имя файла), requirements.txt и README: как установить и запустить. Парсер читает только открытые страницы, одну раз в 2 секунды, и сначала проверяет robots.txt сайта. Клиент запускает его на своём компьютере.

Клиент: интернет-магазин товаров для сада, который перепродаёт инструмент поставщика. У поставщика открытый каталог на сайте, но нет прайс-листа файлом. Задача: пройти по страницам списка, открыть каждую карточку товара и сохранить в Excel артикул, название, цену, наличие, вес и ссылку на главное фото, чтобы раз в неделю сравнивать цены.

Клиент и все данные вымышлены.

Об услуге

Готовый парсер цен — типовой парсер на Python, который мы уже продумали для каталогов магазинов и подгоняем под страницы указанного вами открытого интернет-магазина. Он собирает то, что видит любой посетитель: название, цену, старую цену, наличие, артикул, категорию и ссылку, и сохраняет их в таблицу с датой запуска, чтобы следить за ценами во времени или сравнивать их со своим ассортиментом. Вы присылаете ссылки на категорию и на карточку товара, их сохранённые копии и нужные поля. Запускаете парсер вы на своём компьютере, поэтому данные сразу попадают к вам. Он читает только открытые страницы в спокойном темпе, не входит в аккаунты, не обходит капчи и защиту и пропускает отзывы и всё, где есть имена или контакты людей. Цены, которые видны только после входа или только в приложении, ему недоступны. Можно ли собирать эти данные по правилам магазина, решаете вы.

Что входит

  • Что вы получитеАрхив ZIP с готовым парсером цен на Python, файлом настроек с адресами и паузой между страницами и README; код также виден на странице заказа.
  • Поля цен готовыНазвание, цена, старая цена, наличие, артикул, ссылка
  • Строки с датойКаждый запуск помечен, чтобы следить за ценами
  • Целые категорииПо всем страницам списка — со Standard
  • Спокойный темпПауза между страницами задаётся в настройках
  • Понятная инструкцияУстановка Python и запуск — по шагам

Порядок работы

  1. 1
    СтраницыВы даёте магазин, поля и одну-две сохранённые страницы
  2. 2
    НастройкаМы подгоняем готовый парсер под эти страницы и пишем инструкцию
  3. 3
    ЗапускВы запускаете его и проверяете первые строки таблицы
  4. 4
    ПравкиВы просите правки в рамках пакета и присылаете текст ошибки, если она есть

Что нужно от вас

Открытый интернет-магазин и конкретные страницы: ссылка на категорию и на одну карточку товара и примерно сколько всего товаров. Нужные поля в порядке вашей таблицы, например название, цена, старая цена, наличие, артикул и ссылка. Одна-две такие страницы, сохранённые из браузера («Файл» > «Сохранить страницу как»), или их скриншоты. Файл результатов: CSV, Excel или, в Premium, JSON. Для Premium — другие магазины и как часто запускать.

В брифе мы спросим:

  • Какой магазин и какие страницы?
  • Нужные поля
  • Сколько примерно товаров?
  • Файл результатов и как часто

Сравнение пакетов

ПакетыЭконом16 $Стандарт32 $Бизнес58 $
Что входитЦены с карточекЦелая категорияДо 3 магазинов
Срок1 день2 дня3 дня
Доработки123
Сайтов11до 3
Типов страниц12 (список и карточка)до 3
Полейдо 10до 25до 25 на каждом
Проход по страницам спискаНетДаДа
Файл результатовCSVExcel или CSVExcel, CSV или JSON
Без дублей, продолжение с места остановкиНетНетДа
Готовая версияЦены товаровЦены товаровЦены товаров
Заказать ЭкономЗаказать СтандартЗаказать Бизнес

Защита оплаты

Вы оплачиваете заказ сразу, но деньги переходят сервису только за принятую работу.

  • Фиксированная ценаЦена пакета не меняется после оплаты.
  • Деньги резервируютсяПри оплате сумма только резервируется. Сервису она переходит, когда вы примете работу.
  • Проверка перед сдачейКаждый результат проходит проверку качества, прежде чем попасть к вам, и вы видите его на странице заказа до приёмки.
  • Бесплатные доработкиПросите изменения в рамках брифа столько раз, сколько предусмотрено пакетом.
  • Приёмка через 3 дняЕсли в течение 3 дней после сдачи вы не примете работу и не попросите изменений, она будет принята автоматически. Если после сдачи вы напишете в чат заказа, заказ подождёт; ответив, мы можем начать отсчёт 3 дней заново и сообщим об этом в чате.
  • Переделка или полный возвратЕсли результат не соответствует брифу и доработки не помогли или срок превышен больше чем вдвое, напишите в чат заказа: мы переделаем работу или полностью вернём деньги.
Как это работает →

Вопросы и ответы

Можно собирать цены с крупных маркетплейсов?

Обычно нет: их правила это запрещают, многие страницы требуют входа, и у них есть защита, которую парсер не обходит. Он подходит для открытых сайтов магазинов, которые показывают цены каждому посетителю.

Вы соберёте цены за меня?

Нет. Парсер запускаете вы, поэтому результаты сразу попадают к вам, и вы можете запускать его снова, когда нужны свежие цены.

Что, если сайт поменяет вёрстку?

Парсер работает по страницам в их нынешнем виде. После переделки сайта его нужно доработать — это новый заказ. Он читает в спокойном темпе и не обходит ограничения, которые ставит сайт.

Можно ли мне собирать эти данные?

Сбор открытых данных во многих случаях разрешён, но правила сайтов и законы о данных в разных странах отличаются, поэтому решение, можно ли собирать и использовать данные, за вами. Парсер не входит в аккаунты, не обходит защиту и не собирает личные данные.

Почему он дешевле парсера на заказ?

Это готовый типовой парсер цен: его поля и то, как он идёт по страницам, уже продуманы, а мы подгоняем его под указанный вами сайт и ваши столбцы. Необычные сайты и поля — это услуга парсера на заказ.

Не нашли ответ?

Пакеты