robots.txt магазинаRobots и sitemap

Правила robots.txt для магазина: фильтры, поиск и корзина

Обычно готово за 15 минутДоработки включеныКонтроль качества
Пакеты
Защита оплатыПодробнее
  • Доработки в рамках пакета бесплатны.
  • Если вы не ответите в течение 3 дней после сдачи, работа будет принята автоматически.

При оплате деньги резервируются и переходят сервису, только когда вы примете работу.

Правила robots.txt для магазина: фильтры, поиск и корзина

Пример результата

Пример по пакету «Стандарт»

robots.txt и карта сайта: интернет-магазин одежды

Заказчик: интернет-магазин одежды с фильтрами и поиском по сайту. Задача: не пускать поисковых роботов на тысячи страниц фильтров и корзины и указать им карту сайта.

User-agent: *
Disallow: /cart
Disallow: /checkout
Disallow: /account
Disallow: /search
Disallow: /*?sort=
Disallow: /*?color=
Disallow: /*&size=
Allow: /collections/

Sitemap: https://example.com/sitemap.xml

План карты сайта:

ФайлЧто в нёмСтраниц
sitemap.xmlсписок файлов ниже
sitemap-collections.xmlкатегории64
sitemap-products-1.xmlтовары1–5 000
sitemap-products-2.xmlтовары5 001–8 300
sitemap-pages.xmlо нас, доставка, возврат, блог41

Зачем: страницы фильтров повторяют категории и тратят обход. Товары, которых нет в наличии больше 90 дней, уходят из карты сайта, но страница остаётся.

Клиент и все данные вымышлены.

Об услуге

Интернет-магазины создают бесконечные адреса для обхода: сочетания фильтров, сортировки, внутренний поиск, корзину, оформление, кабинет и сравнение, и на каждой платформе они называются по-своему. Если закрыть слишком мало, обход тратится на мусор, если слишком много — прячутся товары или стили, которые их отображают. Мы читаем ваш текущий robots.txt и шаблоны адресов магазина и пишем новый файл с комментариями к каждому правилу, плюс заметки, где вместо этого нужны noindex или canonical.

Что входит

  • Что вы получитеГотовый robots.txt для магазина с комментарием к каждому правилу, список примеров адресов, которые правила закрывают и открывают, и заметки о шаблонах, где нужен noindex или canonical, а не запрет.
  • Шаблоны адресовФильтры, сортировка, поиск, корзина и кабинет
  • Файл с комментариямиКаждое правило объяснено в файле
  • Что оставитьТовары, CSS, JS и выбранные страницы фильтров
  • Запрет или noindexКогда запрет — не тот инструмент
  • Примеры для проверкиАдреса для проверки в тестере robots.txt

Порядок работы

  1. 1
    ШаблоныВы присылаете магазин и примеры адресов
  2. 2
    ПравилаПишем файл с комментариями
  3. 3
    ПроверкаВы получаете файл и адреса для проверки

Что нужно от вас

Ссылка на магазин, платформа, примеры адресов фильтров, сортировки и поиска из вашего магазина и страницы фильтров, которые нужно оставить в индексе, например по бренду или цвету.

В брифе мы спросим:

  • На какой платформе магазин?
  • Какие страницы фильтров должны остаться в поиске?
  • Вставьте несколько адресов фильтров, сортировки и поиска из магазина

Сравнение пакетов

ПакетыЭконом10 $Стандарт20 $Бизнес39 $
Что входитОсновные правилаВсе правила магазинаНесколько витрин
Срок1 день2 дня4 дня
Доработки122
Шаблонов адресовдо 8до 20до 40
robots.txt с комментариямиДаДаДа
Адреса для проверкиДаДаДа
Заказать ЭкономЗаказать СтандартЗаказать Бизнес

Защита оплаты

Вы оплачиваете заказ сразу, но деньги переходят сервису только за принятую работу.

  • Фиксированная ценаЦена пакета не меняется после оплаты.
  • Деньги резервируютсяПри оплате сумма только резервируется. Сервису она переходит, когда вы примете работу.
  • Проверка перед сдачейКаждый результат проходит проверку качества, прежде чем попасть к вам, и вы видите его на странице заказа до приёмки.
  • Бесплатные доработкиПросите изменения в рамках брифа столько раз, сколько предусмотрено пакетом.
  • Приёмка через 3 дняЕсли в течение 3 дней после сдачи вы не примете работу и не попросите изменений, она будет принята автоматически. Если после сдачи вы напишете в чат заказа, заказ подождёт; ответив, мы можем начать отсчёт 3 дней заново и сообщим об этом в чате.
  • Переделка или полный возвратЕсли результат не соответствует брифу и доработки не помогли или срок превышен больше чем вдвое, напишите в чат заказа: мы переделаем работу или полностью вернём деньги.
Как это работает →

Вопросы и ответы

На Shopify можно редактировать robots.txt?

Да, через шаблон robots.txt.liquid. Если магазин на Shopify, мы пишем правила в этом виде.

Запрет в robots.txt убирает страницу из Google?

Нет. Закрытый адрес может остаться в выдаче, если на него ссылаются. Страницам, которые должны исчезнуть, нужен noindex, и они должны быть доступны для обхода, пока не выпадут.

Вы загрузите файл?

Нет, в магазин и на сервер мы не заходим. Файл заменяете и проверяете вы или разработчик.

Не нашли ответ?

Пакеты