Kostenloser Online-robots.txt-Generator. Crawler-Zugangsregeln und Sitemap-URLs konfigurieren. Unverzichtbar für SEO. Im Browser.
Der Robots.txt-Generator ist ein kostenloses Online-Tool zur einfachen Erstellung von robots.txt-Dateien zur Steuerung des Suchmaschinen-Crawler-Zugriffs. Legen Sie Allow/Disallow-Regeln, Sitemap-URLs und Crawl-Delays fest. Browser-basierte Verarbeitung, komplett kostenlos.
Voreinstellungen
User-Agent
Crawl-Verzögerung
Sitemap-URL
Ergebnis
User-agent: *
Allow: /
lock Dateien werden nicht an einen Server gesendet
Wie benutzt man robots.txt-Generator?
Wählen Sie den User Agent (Crawler) aus.
Legen Sie Allow- und Disallow-Pfadregeln fest.
Fügen Sie die Sitemap-URL hinzu und kopieren Sie die generierte robots.txt.
Häufig gestellte Fragen zu robots.txt-Generator
Was ist robots.txt?
robots.txt ist eine Textdatei im Stammverzeichnis einer Website, die Suchmaschinen-Crawlern mitteilt, welche Seiten gecrawlt oder ignoriert werden sollen.
Kann robots.txt Seiten vollständig aus den Suchergebnissen ausblenden?
Nein. robots.txt steuert nur das Crawling — Seiten können weiterhin erscheinen, wenn sie von anderen Seiten verlinkt sind. Verwenden Sie ein noindex-Meta-Tag für vollständige Entfernung.