SEO商店 robots.txt
網路商店的 robots.txt 規則:篩選、搜尋與購物車頁面
價格起 US$10

Client: an online clothing store with filters and site search. Task: stop search engines from crawling thousands of filter and cart pages, and point them to the sitemap.
User-agent: *
Disallow: /cart
Disallow: /checkout
Disallow: /account
Disallow: /search
Disallow: /*?sort=
Disallow: /*?color=
Disallow: /*&size=
Allow: /collections/
Sitemap: https://example.com/sitemap.xml
Sitemap plan:
| File | What it lists | Pages |
|---|---|---|
| sitemap.xml | index of the files below | |
| sitemap-collections.xml | categories | 64 |
| sitemap-products-1.xml | products | 1–5,000 |
| sitemap-products-2.xml | products | 5,001–8,300 |
| sitemap-pages.xml | about, delivery, returns, blog | 41 |
Why: filter pages repeat category content and waste crawling. Products out of stock for more than 90 days come out of the sitemap but keep their page.
客戶與所有細節皆為虛構。
我們檢視告訴搜尋引擎如何爬取您網站的兩個檔案:位於網域根目錄的爬取規則檔,以及您的 XML 網站地圖。常見的問題包括遺留的 Disallow 規則封鎖了整個區塊、網站地圖中充斥已轉址、noindex 或 404 的網址,以及重要頁面沒有收錄。您會拿到可直接貼上的修正規則,以及網站地圖的修正清單。
網站連結、使用的 CMS,以及應排除在搜尋之外的任何區塊,例如會員專區或測試頁面。
我們會詢問您:
下單時付款,但只有在驗收成果後,款項才會撥付。
不能。它只會阻止爬取,但如果其他網站連結到被封鎖的頁面,該頁面仍可能出現在搜尋結果中。若要讓頁面不被收錄,請使用 noindex 並允許爬取。
通常不行。外掛與平台往往會納入標籤頁面、附件頁或已轉址的網址。檢視會指出該關閉哪些項目。
不會,我們不會存取網站。由您或您的開發人員貼上修正後的規則並更改網站地圖設定。
沒有找到您要的答案?