สร้าง robots.txt

ต้องวางที่ root ของโดเมนเท่านั้น เช่น https://example.com/robots.txt ถึงจะมีผล วางในโฟลเดอร์ย่อยจะไม่ถูกอ่าน

ไม่แน่นอน robots.txt เป็นแค่คำขอให้ bot ที่ทำตามกฎไม่เข้าไปครอว์ล แต่หน้าที่มีลิงก์จากที่อื่นอาจยังถูก index ได้ ถ้าต้องการกันการ index จริงๆ ควรใช้ meta tag noindex ร่วมด้วย