SEO商店robots.txt
网店robots.txt规则:筛选、搜索和购物车页面
价格起价 US$10

**客户:**一家带筛选功能和站内搜索的服装网店。 **任务:**阻止搜索引擎抓取数千个筛选页和购物车页,并引导它们找到站点地图。
User-agent: *
Disallow: /cart
Disallow: /checkout
Disallow: /account
Disallow: /search
Disallow: /*?sort=
Disallow: /*?color=
Disallow: /*&size=
Allow: /collections/
Sitemap: https://example.com/sitemap.xml
站点地图方案:
| 文件 | 包含内容 | 页数 |
|---|---|---|
| sitemap.xml | 下列文件的索引 | |
| sitemap-collections.xml | 分类 | 64 |
| sitemap-products-1.xml | 商品 | 1–5,000 |
| sitemap-products-2.xml | 商品 | 5,001–8,300 |
| sitemap-pages.xml | 关于我们、配送、退货、博客 | 41 |
**原因:**筛选页重复分类内容,浪费抓取配额。缺货超过 90 天的商品移出站点地图,但页面保留。
客户及所有信息均为虚构。
我们检查告诉搜索引擎如何抓取您网站的两个文件:位于域名根目录的抓取规则文件和XML站点地图。常见问题包括遗留的Disallow规则屏蔽了整个板块、站点地图中充斥着重定向、noindex或404的URL,以及重要页面未被收录其中。您将获得可直接粘贴的修正规则和站点地图修正清单。
网站链接、所用CMS,以及应排除在搜索之外的板块,例如账户区域或测试页面。
我们会询问您:
您在下单时付款,但款项仅在您验收后才会结算。
不能。它会阻止抓取,但如果其他网站链接到被屏蔽的页面,它仍可能出现在搜索结果中。要让页面不出现在搜索中,请使用noindex并允许抓取。
通常有问题。插件和平台往往会收录标签页、附件页或已重定向的URL。检查报告会告诉您需要关闭哪些选项。
不会,我们不访问网站。修正后的规则由您或您的开发者粘贴,站点地图设置也由您们修改。
没有找到答案?