Парсер на Python для объявлений о продаже авто: марка, год, пробег, цена и город в таблице — без контактов

Пример результата

def product_links(list_url: str) -> Iterator[str]:
    """Ссылки на карточки со всех страниц списка, по кнопке «Дальше»."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """Одна открытая страница, без спешки: пауза между запросами и несколько попыток при ошибке."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s ответил %s, попытка %d из 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} не открылся за 3 попытки")

Об услуге

Дилеры и покупатели машин видят рынок в одной таблице: марка, год, пробег, двигатель, коробка, кузов, топливо, цвет, цена, город, дата публикации, ссылка и ссылки на фото из открытых объявлений. Настройте поиск на сайте (марка, годы, диапазон цен) и пришлите эту ссылку, одно объявление и одну-две страницы, сохранённые из браузера. Мы напишем код на Python по этим страницам; вы получите его с файлом настроек и README и будете запускать сами, когда нужно. Данных продавцов в таблице нет: ни имён, ни почты, ни телефонов, ни госномеров и VIN. Парсер читает открытые страницы в спокойном темпе, не входит в аккаунты и не обходит капчи и защиту. Разрешают ли это правила сайта, решаете вы, а после смены вёрстки парсер нужно доработать.

Что входит

• Что вы получитеАрхив ZIP с кодом на Python, файлом настроек и README с пошаговой инструкцией; код также виден на странице заказа.
• Рынок в одной таблицеСортировка по году, пробегу или цене в Excel
• Ваша ссылка на поискМарка, годы и цены задаются на сайте
• Без данных продавцовБез имён, телефонов, госномеров и VIN
• Пробег числомГотов для фильтров и средних значений
• Работает на вашем компьютереWindows, macOS или Linux, с Python

Порядок работы

1. 1
   ПоискВы присылаете ссылку на поиск и одно сохранённое объявление
2. 2
   ПарсерМы пишем код и инструкцию по запуску
3. 3
   ЗапускВы запускаете его и сверяете несколько машин с сайтом
4. 4
   ПравкиВы просите правки в рамках пакета и присылаете текст ошибки, если она есть

Что нужно от вас

Автосайт и ссылка на поиск с вашими фильтрами, одна страница объявления и примерно сколько машин в выдаче. Нужные поля в порядке вашей таблицы, например марка, год, пробег, двигатель, коробка, цена, город, ссылка. Одна-две такие страницы, сохранённые из браузера («Файл» > «Сохранить страницу как»), или скриншоты. CSV или Excel и как часто вы будете его запускать.

В брифе мы спросим:

• Какой сайт и какой поиск?
• Нужные поля
• Сколько примерно машин?
• Что ещё он должен делать

Сравнение пакетов

Вопросы и ответы

Не нашли ответ? Спросите