Парсер на Python: переносит открытый каталог поставщика в файл импорта для магазина, со ссылками на фото

Пример результата

def product_links(list_url: str) -> Iterator[str]:
    """Ссылки на карточки со всех страниц списка, по кнопке «Дальше»."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """Одна открытая страница, без спешки: пауза между запросами и несколько попыток при ошибке."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s ответил %s, попытка %d из 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} не открылся за 3 попытки")

Об услуге

Если поставщик показывает ассортимент на открытом сайте, но не даёт файл, парсер перенесёт каталог в таблицу для импорта в ваш магазин: название, артикул, цена, описание, характеристики, категория и ссылки на фото, а сами фото он сохраняет в папку. Пришлите сайт поставщика, ссылки на категорию и карточку товара, одну-две страницы, сохранённые из браузера, и шаблон импорта вашего магазина, например CSV для Shopify или WooCommerce, чтобы столбцы шли по нему. Вы получите код на Python с файлом настроек и README и запустите его на своём компьютере. Берите только те фото и тексты, которые поставщик разрешает использовать. Парсер читает открытые страницы в спокойном темпе, не входит в аккаунты, не обходит капчи и защиту и не собирает личные данные. Разрешают ли это правила сайта, решаете вы; после смены вёрстки нужна доработка.

Что входит

• Что вы получитеАрхив ZIP с кодом на Python, файлом настроек и README с пошаговой инструкцией; код также виден на странице заказа.
• Столбцы под ваш импортВ порядке и с названиями из файла импорта вашего магазина
• Фото для загрузкиСсылки на фото в столбце и файлы с именами по артикулу
• Цены как на сайтеЦена поставщика; свою наценку вы добавляете в таблице
• Спокойный темпПауза между страницами, задаётся в настройках
• Понятная инструкцияЧто установить и как запустить, по шагам

Порядок работы

1. 1
   КаталогВы даёте страницы поставщика и свой шаблон импорта
2. 2
   ПарсерМы пишем код и инструкцию по запуску
3. 3
   Пробный импортВы запускаете его и импортируете первые строки в магазин
4. 4
   ПравкиВы просите правки в рамках пакета и присылаете текст ошибки, если она есть

Что нужно от вас

Сайт поставщика: ссылка на категорию и на карточку товара и примерно сколько всего товаров. Шаблон импорта вашего магазина или пример выгрузки нескольких ваших товаров, чтобы столбцы совпали. Нужные поля: название, артикул, цена, описание, характеристики, категория, фото. Одна-две страницы поставщика, сохранённые из браузера («Файл» > «Сохранить страницу как»). Как называть файлы фото. И ваше подтверждение, что поставщик разрешает использовать его фото и тексты.

В брифе мы спросим:

• Какой сайт поставщика и какие страницы?
• Ваш магазин и файл импорта
• Сколько примерно товаров?
• Фото

Сравнение пакетов

Вопросы и ответы

Не нашли ответ? Спросите