เครื่องมือสร้าง robots.txt เป็นเครื่องมือออนไลน์ฟรีที่สร้างไฟล์ robots.txt เพื่อควบคุมการเข้าถึงของโรบอตค้นหา ตั้งค่ากฎ Allow/Disallow URL ของ Sitemap และ Crawl Delay ประมวลผลในเบราว์เซอร์ ฟรีทั้งหมด
ค่าที่ตั้งไว้
URL Sitemap
ผลลัพธ์
User-agent: *
Allow: /
lock ไฟล์จะไม่ถูกส่งไปยังเซิร์ฟเวอร์
วิธีใช้งานสร้าง robots.txt?
- เลือก user agent (โรบอต)
- ตั้งค่ากฎเส้นทาง Allow และ Disallow
- เพิ่ม URL ของ Sitemap และคัดลอก robots.txt ที่สร้างขึ้น
คำถามที่พบบ่อยเกี่ยวกับสร้าง robots.txt
robots.txt คืออะไร?
robots.txt เป็นไฟล์ข้อความที่วางไว้ที่รากของเว็บไซต์เพื่อบอกโรบอตค้นหาว่าหน้าใดควรรวบรวมข้อมูลหรือข้ามไป
robots.txt สามารถซ่อนหน้าเว็บจากผลการค้นหาได้อย่างสมบูรณ์หรือไม่?
ไม่ robots.txt ควบคุมเฉพาะการรวบรวมข้อมูล หน้าเว็บอาจยังปรากฏในผลค้นหาหากมีลิงก์จากเว็บอื่น ใช้แท็ก meta noindex เพื่อลบออกอย่างสมบูรณ์