Hoppa till innehåll

robots.txt-generator

Gratis robots.txt-generator online. Ställ in tillåt/blockera-regler för sökmotorcrawlers och sitemap-URL. Viktigt för SEO. Bearbetas i webbläsaren.

Robots.txt-generatorn är ett gratis onlineverktyg som enkelt skapar robots.txt-filer för att styra sökmotorernas crawler-åtkomst. Ställ in regler för Allow/Disallow, sitemap-URL:er och crawl-fördröjningar. Bearbetning sker i webbläsaren utan serveruppladdning – helt gratis för att hantera din webbplats crawlbarhet.

Mallar
User-Agent
Crawlfördröjning
Sitemap-URL
Resultat
User-agent: *
Allow: /
lock Filer skickas inte till någon server

Hur använder man robots.txt-generator?

  1. Välj user agent (crawler).
  2. Ställ in regler för sökvägar med Allow och Disallow.
  3. Lägg till din sitemap-URL och kopiera den genererade robots.txt.

Vanliga frågor om robots.txt-generator

Vad är robots.txt?

robots.txt är en textfil placerad i roten av en webbplats som talar om för sökmotorernas crawlers vilka sidor som ska crawlas eller ignoreras.

Kan robots.txt helt dölja sidor från sökresultaten?

Nej. robots.txt styr endast crawling – sidor kan fortfarande visas i sökresultaten om de länkas från andra webbplatser. Använd en noindex-metatagg för fullständig borttagning.