Was ist robots.txt?

Robots.txt ist eine Textdatei, die Crawlern sagt, welche Teile Ihrer Seite sie aufrufen dürfen oder nicht. Sie liegt im Domain-Root und steuert das Crawl-Verhalten.

4 Min. Lesezeit Experteninhalt Aktuell

Inhaltsverzeichnis

Was ist robots.txt?

Robots.txt gibt Crawlern Anweisungen über "Allow"- und "Disallow"-Regeln. Es ist die erste Datei, die Bots beim Besuch prüfen.

So nutzen Sie sie sicher

Private oder doppelte Bereiche vom Crawling ausschließen.
Niemals versehentlich wichtige Seiten blockieren.
Ihre XML-Sitemap darin verlinken.

Eine in robots.txt blockierte Seite bleibt nicht garantiert aus dem Index — dafür nutzen Sie noindex.

Prüfen Sie Ihre Crawlbarkeit

Analysieren Sie robots.txt und Crawl-Setup mit SEOBOTX.

Kostenloses Audit

Häufig gestellte Fragen

Entfernt robots.txt Seiten aus Google?

Nein, es steuert das Crawling. Für den Index nutzen Sie noindex.

Wohin gehört robots.txt?

In den Root: ihreseite.de/robots.txt.