robots.txt richtig einrichten: Anleitung für Schweizer Websites
Eine Textdatei mit drei Zeilen entscheidet mit darüber, was Google von deiner Website überhaupt zu sehen bekommt. Hier steht, was reingehört – und was nicht.
Livio Bätschmann · September 2026 · 8 Min Lesezeit- Was die robots.txt eigentlich macht – und was nicht
- Wo die Datei liegt – und wie du deine in 20 Sekunden prüfst
- Die Regeln, die du wirklich brauchst
- Eine robots.txt, die für die meisten Schweizer KMU passt
- Die fünf Fehler, die ich am häufigsten sehe
- robots.txt und KI-Crawler: was sich 2026 geändert hat
- In fünf Minuten erledigt
Die robots.txt ist die unscheinbarste Datei auf deiner Website – und gleichzeitig die einzige, mit der du in einer Zeile deine komplette Sichtbarkeit bei Google zerstören kannst. Ich habe schon Websites übernommen, die monatelang keine einzige Anfrage über Google bekamen. Grund: Beim Launch war ein Disallow: / aus der Testphase stehen geblieben. Niemand hatte je nachgeschaut.
Das Gute daran: Die Datei ist simpel. Du brauchst kein Entwicklerwissen, um sie zu verstehen, und in den meisten Fällen reichen fünf Zeilen. Was du brauchst, ist ein klares Bild davon, was die robots.txt tut – und vor allem, was sie nicht tut. Genau da machen die meisten KMU den Fehler.
Was die robots.txt eigentlich macht – und was nicht
Die robots.txt ist eine Anweisung an Crawler: an den Googlebot, den Bingbot, an den GPTBot von OpenAI und an ein paar hundert andere Programme, die täglich durchs Web laufen. Sie sagt: «Diesen Bereich meiner Website brauchst du nicht anzuschauen.»
Wichtig ist das Wort anschauen. Die robots.txt steuert das Crawling – also ob ein Bot eine Seite abruft. Sie steuert nicht die Indexierung – also ob eine Seite in den Suchergebnissen landet. Das klingt nach Haarspalterei, ist aber der Punkt, an dem in der Praxis am meisten schiefgeht.
Wenn du eine Seite per robots.txt sperrst, auf die von aussen verlinkt wird, kann Google sie trotzdem in die Suchergebnisse aufnehmen – nur ohne Beschreibung, mit dem Hinweis «Für diese Seite sind keine Informationen verfügbar». Das ist schlechter als gar nichts. Und noch schlimmer: Wenn du eine Seite sperrst, auf der ein noindex-Tag steht, kann Google dieses Tag nie lesen. Die Seite bleibt im Index.
Merke dir also die Faustregel: robots.txt = Crawl-Budget sparen. noindex = aus den Suchergebnissen halten. Passwortschutz = wirklich privat. Diese drei Werkzeuge lösen drei verschiedene Probleme, und sie sind nicht austauschbar.
Wo die Datei liegt – und wie du deine in 20 Sekunden prüfst
Die robots.txt muss im Wurzelverzeichnis deiner Domain liegen und exakt so heissen – klein geschrieben, ohne Zusätze. Erreichbar ist sie unter https://deine-domain.ch/robots.txt. Eine Datei unter /blog/robots.txt ignoriert Google komplett.
Der schnellste Test: Tipp deine Domain plus /robots.txt in den Browser. Drei Ergebnisse sind möglich:
- Du siehst Text – gut, jetzt lies weiter und prüfe, ob der Inhalt Sinn ergibt.
- Du siehst eine 404-Seite – auch okay. Ohne robots.txt darf ein Crawler alles besuchen. Für eine kleine Website mit 20 Seiten ist das kein Problem, nur nicht ideal, weil auch die Sitemap-Angabe fehlt.
- Du siehst
Disallow: /– Alarm. Deine gesamte Website ist für Suchmaschinen gesperrt. Sofort ändern.
Danach nimmst du die Google Search Console. Unter «Einstellungen → robots.txt» siehst du, welche Version Google zuletzt abgerufen hat und ob es Fehler gab. Falls du die Search Console noch nicht eingerichtet hast: Das ist der wichtigere erste Schritt.
Die Regeln, die du wirklich brauchst
Die Syntax besteht aus wenigen Bausteinen. Diese hier decken 95 Prozent aller Fälle ab:
| Anweisung | Bedeutung | Beispiel |
|---|---|---|
| User-agent | Für welchen Bot die folgenden Regeln gelten. * heisst: für alle. | User-agent: * |
| Disallow | Dieser Pfad soll nicht gecrawlt werden. | Disallow: /intern/ |
| Allow | Ausnahme innerhalb eines gesperrten Bereichs. | Allow: /intern/preise.html |
| Sitemap | Volle URL zur XML-Sitemap. Gehört immer rein. | Sitemap: https://deine-domain.ch/sitemap.xml |
| Crawl-delay | Pause zwischen Abrufen. Google ignoriert das – Bing nicht. | Crawl-delay: 10 |
Zwei Details, die oft übersehen werden: Pfade sind case-sensitive – /Intern/ und /intern/ sind für den Bot zwei verschiedene Dinge. Und ein Disallow: /admin ohne Schrägstrich am Ende sperrt auch /administration und /admin-login.html. Wenn du nur einen Ordner meinst, schreib den Schrägstrich.
Eine robots.txt, die für die meisten Schweizer KMU passt
Wenn du eine normale Firmen-Website mit Leistungsseiten, Blog und Kontaktformular betreibst, brauchst du selten mehr als das hier:
Was hier passiert: Alle Bots dürfen grundsätzlich alles crawlen. Ausgenommen sind die Danke-Seite nach dem Formularversand (die soll niemand über Google finden, sonst verfälscht sie deine Conversion-Zahlen), ein interner Bereich und interne Suchergebnisseiten mit ?s= im Query-String. Letztere erzeugen sonst hunderte inhaltsleerer URLs.
Bei einem Onlineshop kommt mehr dazu: Warenkorb, Checkout, Kundenkonto und vor allem Filter-URLs. Ein Shop mit fünf Filtern kann problemlos 50'000 crawlbare Kombinationen erzeugen, von denen keine einzige ranken soll. Hier lohnt sich das Aufräumen wirklich.
Was du dagegen nicht sperren solltest: CSS- und JavaScript-Dateien. Google rendert deine Seiten wie ein Browser. Wer /css/ oder /js/ blockiert, sorgt dafür, dass Google eine kaputte Version der Seite sieht – und das schlägt direkt auf die Mobile-Bewertung durch. Diese Regel stammt aus einer Zeit vor 2015 und geistert leider immer noch durch alte Anleitungen.
Die fünf Fehler, die ich am häufigsten sehe
- Das vergessene Disallow: / nach dem Launch. Kostet Wochen an Sichtbarkeit, weil niemand merkt, dass etwas fehlt – die Website ist ja online.
- robots.txt statt noindex für Seiten, die nicht in die Suche sollen. Führt zu genau dem Gegenteil: Die Seite bleibt indexiert, aber ohne Snippet.
- Sensible Daten sperren. Die robots.txt ist öffentlich lesbar. Wer
Disallow: /kundendaten-2026/hineinschreibt, hat gerade eine Wegbeschreibung veröffentlicht. - Falsche Domain in der Sitemap-Zeile. Nach einem Domain-Umzug bleibt oft die alte URL stehen. Google findet die Sitemap dann nicht mehr.
- Blockierte Ressourcen. CSS, JS oder Bilder-Ordner gesperrt – die Seite wird für Google unbrauchbar gerendert.
robots.txt und KI-Crawler: was sich 2026 geändert hat
Seit 2023 tauchen neue Namen in den Server-Logs auf: GPTBot, ClaudeBot, PerplexityBot, Google-Extended, CCBot. Diese Crawler sammeln Inhalte für KI-Systeme – teils fürs Training, teils, um Antworten mit Quellen zu belegen. Alle grossen Anbieter halten sich an die robots.txt, und du kannst sie einzeln steuern:
Ob du das willst, ist eine strategische Entscheidung – keine technische. Für ein KMU, das Anfragen über Sichtbarkeit generiert, spricht meist mehr dafür, KI-Crawler zuzulassen. Immer mehr Menschen recherchieren Dienstleister direkt in ChatGPT oder Perplexity. Wer dort nicht auftaucht, existiert für diesen Kanal nicht. Blockieren ist eher etwas für Verlage und Anbieter, deren Geschäftsmodell direkt am Content hängt.
Ein Hinweis zum Schluss: Die robots.txt ist eine Bitte, kein Zaun. Seriöse Crawler halten sich daran, Scraper und Bots mit schlechten Absichten nicht. Wer wirklich etwas schützen muss, braucht serverseitige Massnahmen – Passwortschutz, IP-Sperren, Rate Limiting.
In fünf Minuten erledigt
Praktisch für einen Freitagnachmittag: Ruf deine /robots.txt auf. Prüfe, ob ein Disallow: / drinsteht. Prüfe, ob die Sitemap-Zeile existiert und auf die richtige Domain zeigt. Prüfe, ob CSS- oder JS-Ordner gesperrt sind. Ergänze die zwei, drei Seiten, die wirklich nichts in Google verloren haben. Fertig.
Das ist keine Massnahme, die dich von Platz 40 auf Platz 3 bringt. Aber es ist eine der wenigen technischen Einstellungen, bei denen ein einziger Tippfehler alles andere wertlos macht. Deshalb gehört sie in jede SEO-Checkliste – ganz nach oben.
Häufige Fragen
Zwingend nötig ist sie nicht – ohne robots.txt darf ein Crawler einfach alles besuchen, und bei einer kleinen Website mit 15 Seiten ist das völlig in Ordnung. Empfehlenswert ist sie trotzdem, allein wegen der Sitemap-Zeile: Sie ist der zuverlässigste Weg, jeder Suchmaschine mitzuteilen, wo deine XML-Sitemap liegt. Ab etwa 50 Seiten, bei einem Shop oder bei einer Website mit Filtern und internen Suchergebnissen wird sie klar sinnvoll.
Nicht mit der robots.txt. Setze im <head> der betreffenden Seite ein <meta name="robots" content="noindex"> und lasse die Seite crawlbar – sonst kann Google die Anweisung gar nicht lesen. Wenn die Seite auch für Menschen unzugänglich sein soll, brauchst du zusätzlich einen Passwortschutz auf Serverebene. Die robots.txt ist öffentlich einsehbar und damit nie ein Schutzmechanismus.
Google ruft die Datei in der Regel alle 24 Stunden ab und cached sie entsprechend. Änderungen greifen also meist innerhalb eines Tages. Über die Google Search Console kannst du unter «Einstellungen → robots.txt» einen erneuten Abruf anstossen, wenn es eilt – etwa nachdem du ein versehentliches Disallow: / entfernt hast. Bis gesperrte Seiten dann wieder normal in den Suchergebnissen erscheinen, dauert es allerdings länger: je nach Website einige Tage bis wenige Wochen.