Robots.txt-Tester

Das Tool validiert den Inhalt von robots.txt und simuliert den Zugriff von Crawlers mit angegebenen User-Agents. Es akzeptiert einen Textblock robots.txt oder eine URL zum Abruf der Datei und unterstützt Tests gegen mehrere Zielpfade. Die Ausgabe zeigt pro User-Agent Ergebnisse, ob jeder Pfad erlaubt oder blockiert ist.
Die Kernlogik implementiert das Robots Exclusion Protocol: User-Agent-Gruppen, Allow- und Disallow-Regeln sowie optionale Crawl-Delay- und Sitemap-Direktiven. Die Bewertung folgt dem Longest-Match-Prinzip innerhalb der relevanten User-Agent-Gruppe und unterstützt einfaches Prefix- und Wildcard-Matching, entsprechend gängiger Crawler.
Eingaben umfassen Quelle (Text oder URL), einen oder mehrere User-Agent-Bezeichner sowie Testpfade. Ausgaben umfassen eine strukturierte Ergebnissliste, eine Pfad-Entscheidung, eine Zusammenfassung von Verstößen und einen reproduzierbaren Bericht, geeignet für Entwickler-Review und Änderungsverfolgung.
Grenzfälle werden deterministisch behandelt: fehlende User-Agent-Gruppen, nicht übereinstimmende User-Agents, widersprüchliche Direktiven, Syntaxfehler und Abruffehler. Das Tool meldet klare Fehlerindikatoren und Teilresultate, wenn nur teilweise Daten vorliegen, ohne UI-bezogene Hinweise zu geben. Timeouts und große robots.txt-Dateien werden zuverlässig behandelt.
Die Zielgruppe umfasst SEO-Experten, Webmaster und Entwickler, die Site-Migrationen, Hosting-Änderungen oder Richtlinienaktualisierungen vorbereiten. Das Tool liefert Einblicke, die mit den Erwartungen der Google Search Console übereinstimmen, und hilft, Indexierungsrisiken zu verringern, indem Crawl-Policies explizit, testbar und auditierbar gemacht werden.