Парсер SEO-данных на Python: title, description, H1, код ответа и canonical страниц сайта в таблице

Пример результата

def product_links(list_url: str) -> Iterator[str]:
    """Ссылки на карточки со всех страниц списка, по кнопке «Дальше»."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """Одна открытая страница, без спешки: пауза между запросами и несколько попыток при ошибке."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s ответил %s, попытка %d из 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} не открылся за 3 попытки")

Об услуге

Перед переездом сайта или SEO-проверкой парсер пройдёт по страницам и сохранит строку для каждой: адрес, код ответа, title и meta description с их длиной, H1, число H2, canonical, тег noindex, число слов, картинки без alt и число внутренних ссылок. Адреса он берёт из карты сайта, со страниц категорий или из вашего списка. Используйте его на своём сайте или на открытом сайте конкурента. Пришлите адрес сайта, несколько страниц, сохранённых из браузера, и нужные поля. Вы получите код на Python, файл настроек и README и запустите его на своём компьютере. Он собирает факты, не исправляет сайт и не обещает позиций в поиске. Парсер читает только открытые страницы в спокойном темпе, не входит в аккаунты и не обходит капчи и защиту. Разрешают ли это правила сайта, решаете вы; после смены вёрстки нужна доработка.

Что входит

• Что вы получитеАрхив ZIP с кодом на Python, файлом настроек и README с пошаговой инструкцией; код также виден на странице заказа.
• Теги и их длинаTitle и description с числом символов
• Коды ответаВидно битые страницы и редиректы
• Картинки без altСчитает картинки без текста alt
• Из карты сайта или спискаАдреса из карты сайта, категорий или вашего файла
• Спокойный темпПауза между страницами, задаётся в настройках

Порядок работы

1. 1
   СайтВы даёте сайт, источник адресов и сохранённые страницы
2. 2
   ПарсерМы пишем код и инструкцию по запуску
3. 3
   ЗапускВы запускаете его и проверяете несколько строк в браузере
4. 4
   ПравкиВы просите правки в рамках пакета и присылаете текст ошибки, если она есть

Что нужно от вас

Адрес сайта и откуда парсеру брать адреса: из карты сайта, со страниц категорий или из вашего списка. Примерно сколько всего страниц. Нужные поля, например адрес, код ответа, title, description, H1, canonical, noindex, число слов, картинки без alt. Две-три страницы разных типов, сохранённые из браузера («Файл» > «Сохранить страницу как»). CSV или Excel.

В брифе мы спросим:

• Какой сайт?
• Откуда брать адреса
• Нужные поля
• Сколько примерно страниц?

Сравнение пакетов

Вопросы и ответы

Не нашли ответ? Спросите