ข้ามไปยังเนื้อหา

สร้าง robots.txt

เครื่องมือสร้าง robots.txt ออนไลน์ฟรี กำหนดกฎ crawler และ URL sitemap จำเป็นสำหรับ SEO ประมวลผลบนเบราว์เซอร์

เครื่องมือสร้าง robots.txt เป็นเครื่องมือออนไลน์ฟรีที่สร้างไฟล์ robots.txt เพื่อควบคุมการเข้าถึงของโรบอตค้นหา ตั้งค่ากฎ Allow/Disallow URL ของ Sitemap และ Crawl Delay ประมวลผลในเบราว์เซอร์ ฟรีทั้งหมด

ค่าที่ตั้งไว้
User-Agent
หน่วงเวลาค้นหา
URL Sitemap
ผลลัพธ์
User-agent: *
Allow: /
lock ไฟล์จะไม่ถูกส่งไปยังเซิร์ฟเวอร์

วิธีใช้งานสร้าง robots.txt?

  1. เลือก user agent (โรบอต)
  2. ตั้งค่ากฎเส้นทาง Allow และ Disallow
  3. เพิ่ม URL ของ Sitemap และคัดลอก robots.txt ที่สร้างขึ้น

คำถามที่พบบ่อยเกี่ยวกับสร้าง robots.txt

robots.txt คืออะไร?

robots.txt เป็นไฟล์ข้อความที่วางไว้ที่รากของเว็บไซต์เพื่อบอกโรบอตค้นหาว่าหน้าใดควรรวบรวมข้อมูลหรือข้ามไป

robots.txt สามารถซ่อนหน้าเว็บจากผลการค้นหาได้อย่างสมบูรณ์หรือไม่?

ไม่ robots.txt ควบคุมเฉพาะการรวบรวมข้อมูล หน้าเว็บอาจยังปรากฏในผลค้นหาหากมีลิงก์จากเว็บอื่น ใช้แท็ก meta noindex เพื่อลบออกอย่างสมบูรณ์