robots.txt für ShopsRobots & Sitemap

robots.txt-Regeln für einen Onlineshop: Filter-, Such- und Warenkorbseiten

Meist in 15 Minuten fertigÜberarbeitungen inklusiveQualitätsprüfung
Pakete
ZahlungsschutzMehr dazu
  • Überarbeitungen im Rahmen des Pakets sind kostenlos.
  • Reagieren Sie nicht innerhalb von 3 Tagen nach der Lieferung, gilt die Arbeit automatisch als abgenommen.

Das Geld wird bei der Zahlung reserviert und erst freigegeben, wenn Sie die Arbeit abnehmen.

robots.txt-Regeln für einen Onlineshop: Filter-, Such- und Warenkorbseiten

Beispielergebnis

Beispiel für das Standard-Paket

robots.txt und Sitemap: ein Online-Modegeschäft

Kunde: ein Online-Modegeschäft mit Filtern und interner Suche. Aufgabe: Suchmaschinen vom Crawlen tausender Filter- und Warenkorbseiten abhalten und ihnen die Sitemap zeigen.

User-agent: *
Disallow: /cart
Disallow: /checkout
Disallow: /account
Disallow: /search
Disallow: /*?sort=
Disallow: /*?color=
Disallow: /*&size=
Allow: /collections/

Sitemap: https://example.com/sitemap.xml

Sitemap-Plan:

DateiInhaltSeiten
sitemap.xmlIndex der Dateien unten
sitemap-collections.xmlKategorien64
sitemap-products-1.xmlProdukte1–5.000
sitemap-products-2.xmlProdukte5.001–8.300
sitemap-pages.xmlÜber uns, Versand, Rückgabe, Blog41

Warum: Filterseiten wiederholen die Kategorien und verschwenden Crawl-Budget. Produkte, die länger als 90 Tage ausverkauft sind, fliegen aus der Sitemap, behalten aber ihre Seite.

Kunde und alle Angaben sind erfunden.

Über diese Leistung

Onlineshops erzeugen endlos crawlbare URLs: Filterkombinationen, Sortierungen, interne Suchergebnisse, Warenkorb-, Checkout-, Konto- und Vergleichsseiten, und jede Plattform benennt sie anders. Wird zu wenig blockiert, wird Crawl-Budget an Müllseiten verschwendet; wird zu viel blockiert, verschwinden Produkte oder das CSS, das sie darstellt. Wir lesen Ihre aktuelle robots.txt und die URL-Muster Ihres Shops und schreiben eine neue Datei mit kommentierten Regeln für jedes Muster, dazu Hinweise, was stattdessen mit noindex oder Canonical behandelt werden sollte.

Was enthalten ist

  • Das bekommen SieEine fertige robots.txt für Ihren Shop mit einer kommentierten Regel für jedes URL-Muster, einer Liste von Beispiel-URLs, die die Regeln blockieren und zulassen, und Hinweisen zu Mustern, die noindex oder Canonical statt einer Sperre brauchen.
  • URL-MusterFilter, Sortierung, Suche, Warenkorb und Konto
  • Kommentierte DateiJede Regel in der Datei erklärt
  • Offen lassenProdukte, CSS, JS und ausgewählte Filterseiten
  • Sperren oder noindexWann eine Sperre das falsche Werkzeug ist
  • TestbeispieleURLs zur Prüfung in einem robots.txt-Tester

So funktioniert es

  1. 1
    MusterSie senden Shop und URL-Beispiele
  2. 2
    RegelnWir schreiben und kommentieren die Datei
  3. 3
    PrüfungSie erhalten die Datei und Test-URLs

Was wir von Ihnen brauchen

Ein Link zum Shop, Ihre Plattform, Beispiele für Filter-, Sortier- und Such-URLs aus Ihrem Shop und die Filterseiten, die indexierbar bleiben sollen, etwa Marken- oder Farbseiten.

Wir fragen Sie:

  • Auf welcher Plattform läuft der Shop?
  • Welche Filterseiten sollen in der Suche bleiben?
  • Fügen Sie einige Filter-, Sortier- und Such-URLs aus Ihrem Shop ein

Pakete vergleichen

PaketeBasis9 €Standard18 €Premium35 €
Was enthalten istGrundregelnKomplette Shop-RegelnRegeln für mehrere Shops
Lieferzeit1 Tag2 Tage4 Tage
Überarbeitungen122
Abgedeckte URL-Musterbis 8bis 20bis 40
Kommentierte robots.txtJaJaJa
Liste mit Test-URLsJaJaJa
Bestellen BasisBestellen StandardBestellen Premium

Zahlungsschutz

Sie bezahlen bei der Bestellung, aber das Geld wird nur für abgenommene Arbeit freigegeben.

  • FestpreisDer Paketpreis ändert sich nach der Zahlung nicht mehr.
  • Das Geld wird reserviertBei der Zahlung wird der Betrag nur reserviert. Freigegeben wird er erst, wenn Sie die Arbeit abnehmen.
  • Vor der Lieferung geprüftJedes Ergebnis durchläuft eine Qualitätsprüfung, bevor es Sie erreicht, und Sie sehen es auf der Bestellseite, bevor Sie es abnehmen.
  • Kostenlose ÜberarbeitungenFordern Sie Überarbeitungen im Rahmen Ihres Briefings so oft an, wie das Paket es erlaubt.
  • Abnahme nach 3 TagenWenn Sie die Arbeit innerhalb von 3 Tagen nach der Lieferung weder abnehmen noch eine Überarbeitung anfordern, gilt sie automatisch als abgenommen. Schreiben Sie nach der Lieferung im Bestell-Chat, wartet die Bestellung; sobald wir antworten, können wir die 3 Tage neu starten und teilen das im Chat mit.
  • Neuanfertigung oder volle RückerstattungWenn das Ergebnis nicht Ihrem Briefing entspricht und die Überarbeitungen das nicht behoben haben oder die Arbeit mehr als doppelt so lange dauert wie die Frist, schreiben Sie im Bestell-Chat: Wir erstellen die Arbeit neu oder erstatten die Zahlung vollständig.
So funktioniert es →

Fragen und Antworten

Kann ich die robots.txt bei Shopify bearbeiten?

Ja, über die Vorlage robots.txt.liquid. Wir schreiben die Regeln in dieser Form, wenn Ihr Shop auf Shopify läuft.

Entfernt eine Sperre die Seite aus Google?

Nein. Eine gesperrte URL kann trotzdem in den Ergebnissen erscheinen, wenn andere Seiten auf sie verlinken. Seiten, die verschwinden müssen, brauchen noindex und müssen crawlbar bleiben, bis sie herausfallen.

Laden Sie die Datei hoch?

Nein, wir melden uns weder in Ihrem Shop noch auf Ihrem Server an. Sie oder Ihr Entwickler ersetzen die Datei und testen sie.

Keine Antwort gefunden?

Pakete