Парсер на Python: сравнивает цены на одни и те же товары в 3 открытых интернет-магазинах в одной таблице

Пример результата

def product_links(list_url: str) -> Iterator[str]:
    """Ссылки на карточки со всех страниц списка, по кнопке «Дальше»."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """Одна открытая страница, без спешки: пауза между запросами и несколько попыток при ошибке."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s ответил %s, попытка %d из 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} не открылся за 3 попытки")

Об услуге

Парсер ставит рядом цены на одни и те же товары из трёх открытых интернет-магазинов: строка на товар, в ней цена, старая цена, наличие и ссылка по каждому магазину и дата проверки. Три магазина входят в Premium; Basic и Standard читают один магазин, для начала или проверки. Товары сопоставляются по коду, который показывают магазины, например штрихкоду или артикулу производителя, или по ссылкам, которые вы даёте для каждого товара: одни названия слишком разные для надёжной сверки. Пришлите сайты, по сохранённой из браузера карточке товара с каждого и свой список товаров. Вы получите код на Python, файл настроек и README и запустите его на своём компьютере. Парсер читает открытые страницы в спокойном темпе, не входит в аккаунты, не обходит капчи и защиту и не читает Amazon и Google. Разрешают ли это правила магазинов, решаете вы; после смены вёрстки нужна доработка.

Что входит

• Что вы получитеАрхив ZIP с кодом на Python, файлом настроек и README с пошаговой инструкцией; код также виден на странице заказа.
• Строка на товарЦена, наличие и ссылка каждого магазина рядом
• Сверка по коду или ссылкамШтрихкод, артикул производителя или ваши ссылки
• Дата проверкиВ каждой строке, чтобы сравнивать запуски
• Спокойный темпПауза между страницами, задаётся в настройках
• Работает на вашем компьютереWindows, macOS или Linux, с Python

Порядок работы

1. 1
   МагазиныВы даёте магазины, сохранённые карточки и свой список товаров
2. 2
   ПарсерМы пишем код и инструкцию по запуску
3. 3
   ЗапускВы запускаете его и сверяете несколько строк в каждом магазине
4. 4
   ПравкиВы просите правки в рамках пакета и присылаете текст ошибки, если она есть

Что нужно от вас

Три магазина (или один для Basic и Standard) и по карточке товара с каждого, сохранённой из браузера («Файл» > «Сохранить страницу как»). Ваш список товаров с кодом, который показывают магазины, например штрихкодом, или таблица со ссылкой на каждый товар в каждом магазине. Нужные поля по каждому магазину, например цена, старая цена, наличие, ссылка. Примерно сколько товаров. CSV, Excel или JSON.

В брифе мы спросим:

• Какие магазины?
• Как сопоставлять товары
• Поля по каждому магазину
• Сколько примерно товаров?

Сравнение пакетов

Вопросы и ответы

Не нашли ответ? Спросите