Парсер сайта на Python: собирает открытые данные со страниц в CSV или Excel — цены, каталоги, объявления

Пример результата

def product_links(list_url: str) -> Iterator[str]:
    """Ссылки на карточки со всех страниц списка, по кнопке «Дальше»."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """Одна открытая страница, без спешки: пауза между запросами и несколько попыток при ошибке."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s ответил %s, попытка %d из 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} не открылся за 3 попытки")

Об услуге

Парсер собирает данные, которые видны на открытых страницах сайтов, и сохраняет их таблицей: цены и наличие товаров, каталог поставщика для вашего магазина, объявления, вакансии, события или статьи. Укажите сайт и страницы, перечислите нужные поля (название, цена, ссылка, картинка и так далее) и пришлите одну-две такие страницы, сохранённые из браузера («Файл» > «Сохранить страницу как»), или их скриншоты. Мы напишем парсер на Python по настоящей структуре этих страниц, и он сохранит результаты в CSV, Excel или JSON. Вы получаете архив с кодом, файлом настроек с адресами и паузой между страницами и README, где объяснено, как установить Python и запустить парсер. Запускаете его вы, на своём компьютере, поэтому данные сразу попадают к вам; мы их за вас не собираем и не храним. Парсер читает только открытые страницы, в спокойном темпе, и никогда не входит в аккаунты, не обходит капчи и другую защиту и не собирает личные данные, например имена, почту или телефоны людей. Если сайт поменяет вёрстку, парсер может потребовать доработки. Можно ли собирать и использовать данные сайта по его правилам, решаете и отвечаете за это вы.

Что входит

• Что вы получитеАрхив ZIP с кодом на Python, файлом настроек и README с пошаговой инструкцией; код также виден на странице заказа.
• Ваши поля, ваша таблицаСтолбцы в нужном вам порядке
• По настоящим страницамНаписан по структуре присланных страниц
• Спокойный темпПауза между страницами, задаётся в настройках
• Работает на вашем компьютереWindows, macOS или Linux, с Python
• Понятная инструкцияЧто установить и как запустить, по шагам

Порядок работы

1. 1
   СтраницыВы даёте сайт, поля и одну-две сохранённые страницы
2. 2
   ПарсерМы пишем код и инструкцию по запуску
3. 3
   ЗапускВы запускаете его и проверяете первые строки таблицы
4. 4
   ПравкиВы просите правки в рамках пакета и присылаете текст ошибки, если она есть

Что нужно от вас

Сайт и конкретные страницы: ссылка на список и на страницу карточки и примерно сколько всего страниц. Нужные поля в порядке вашей таблицы, с примером каждого. Одна-две такие страницы, сохранённые из браузера в HTML («Файл» > «Сохранить страницу как»), или их скриншоты, чтобы парсер шёл по их настоящей структуре. Нужный файл результатов (CSV, Excel или JSON) и где вы будете его запускать.

В брифе мы спросим:

• Какой сайт и какие страницы?
• Нужные поля
• Сколько примерно страниц?
• Файл результатов
• Что ещё он должен делать

Сравнение пакетов

Вопросы и ответы

Не нашли ответ? Спросите