SEOWordPress robots.txt与站点地图
WordPress robots.txt与站点地图设置指南
价格起价 US$10

**客户:**一家带筛选功能和站内搜索的服装网店。 **任务:**阻止搜索引擎抓取数千个筛选页和购物车页,并引导它们找到站点地图。
User-agent: *
Disallow: /cart
Disallow: /checkout
Disallow: /account
Disallow: /search
Disallow: /*?sort=
Disallow: /*?color=
Disallow: /*&size=
Allow: /collections/
Sitemap: https://example.com/sitemap.xml
站点地图方案:
| 文件 | 包含内容 | 页数 |
|---|---|---|
| sitemap.xml | 下列文件的索引 | |
| sitemap-collections.xml | 分类 | 64 |
| sitemap-products-1.xml | 商品 | 1–5,000 |
| sitemap-products-2.xml | 商品 | 5,001–8,300 |
| sitemap-pages.xml | 关于我们、配送、退货、博客 | 41 |
**原因:**筛选页重复分类内容,浪费抓取配额。缺货超过 90 天的商品移出站点地图,但页面保留。
客户及所有信息均为虚构。
网店会生成无穷无尽的可抓取网址:筛选组合、排序方式、站内搜索结果、购物车、结账、账户和对比页面,而且每个平台的命名方式都不同。屏蔽得太少,抓取资源就浪费在垃圾页面上;屏蔽得太多,又会把商品或用于渲染页面的CSS藏起来。我们阅读您现有的robots.txt和商店的网址规律,编写一个新文件,为每种网址规律写好带注释的规则,并说明哪些情况应改用noindex或canonical处理。
商店链接、您使用的平台、商店中筛选、排序和搜索网址的示例,以及您希望保持可被索引的筛选页面,例如品牌页或颜色页。
我们会询问您:
您在下单时付款,但款项仅在您验收后才会结算。
可以,通过robots.txt.liquid模板编辑。如果您的商店使用Shopify,我们会按该格式编写规则。
不会。被屏蔽的网址如果有其他页面链接到它,仍可能出现在搜索结果中。必须消失的页面需要设置noindex,并且在它从结果中消失之前保持可抓取。
不会,我们不登录您的商店或服务器。由您或您的开发人员替换文件并进行测试。
没有找到答案?