Парсер тендеров на Python: открытые закупки в таблице — заказчик, предмет, начальная цена и срок подачи

Пример результата

def product_links(list_url: str) -> Iterator[str]:
    """Ссылки на карточки со всех страниц списка, по кнопке «Дальше»."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """Одна открытая страница, без спешки: пауза между запросами и несколько попыток при ошибке."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s ответил %s, попытка %d из 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} не открылся за 3 попытки")

Об услуге

Поставщики, которые участвуют в закупках, видят открытые извещения в одной таблице: номер, предмет, заказчик-организация, регион, способ закупки, начальная цена и валюта, дата публикации, срок подачи, статус и ссылка. Выполните поиск на площадке по своим словам или кодам и пришлите эту ссылку, карточку закупки и одну-две страницы, сохранённые из браузера. Вы получите код на Python, файл настроек и README и будете запускать его на своём компьютере каждое утро или когда нужно. Контактные лица не собираются: ни имён, ни почты, ни телефонов. Парсер не входит в аккаунты, не скачивает документы из личного кабинета, не обходит капчи и защиту и не подаёт заявки, а читает в спокойном темпе. Разрешают ли это правила площадки, решаете вы; после смены вёрстки нужна доработка.

Что входит

• Что вы получитеАрхив ZIP с кодом на Python, файлом настроек и README с пошаговой инструкцией; код также виден на странице заказа.
• Сроки для сортировкиДаты в одном формате, сортировка по сроку подачи
• Начальная цена числомС валютой в отдельном столбце
• Ваши ключевые словаНачинает с поиска, который вы настроили на площадке
• Без контактных лицТолько организация-заказчик, без имён и телефонов
• Спокойный темпПауза между страницами, задаётся в настройках

Порядок работы

1. 1
   ПоискВы настраиваете поиск и присылаете ссылку и сохранённую закупку
2. 2
   ПарсерМы пишем код и инструкцию по запуску
3. 3
   ЗапускВы запускаете его и сверяете сегодняшние закупки с площадкой
4. 4
   ПравкиВы просите правки в рамках пакета и присылаете текст ошибки, если она есть

Что нужно от вас

Площадка закупок и ссылка на поиск по вашим словам, кодам или регионам, одна карточка закупки и примерно сколько закупок в выдаче. Поля в порядке вашей таблицы, например номер, предмет, заказчик, регион, начальная цена, валюта, дата публикации, срок подачи, ссылка. Одна-две такие страницы, сохранённые из браузера («Файл» > «Сохранить страницу как»), или скриншоты. CSV или Excel.

В брифе мы спросим:

• Какая площадка и какой поиск?
• Слова, коды или регионы
• Нужные поля
• Как часто вы будете его запускать?

Сравнение пакетов

Вопросы и ответы

Не нашли ответ? Спросите