วิธีการส่งไฟล์ Robots.txt ที่อัปเดตหรือใหม่อีกครั้ง

robots txt

หน่วยงานของเราจัดการ ให้คำปรึกษาด้านการค้นหาทั่วไป สำหรับผู้ขาย SaaS หลายรายในอุตสาหกรรม ลูกค้าที่เราเพิ่งเริ่มทำงานด้วยได้ปฏิบัติตามแนวทางปฏิบัติที่เป็นมาตรฐานพอสมควรโดยวางแอปพลิเคชันบนโดเมนย่อยและย้ายไซต์โบรชัวร์ไปยังโดเมนหลัก นี่เป็นแนวทางปฏิบัติมาตรฐานเนื่องจากช่วยให้ทั้งทีมผู้ผลิตและทีมการตลาดของคุณสามารถอัปเดตได้ตามต้องการโดยไม่ต้องพึ่งพาอีกฝ่าย

ในขั้นตอนแรกในการวิเคราะห์ความสมบูรณ์ของการค้นหาทั่วไปเราได้ลงทะเบียนทั้งโบรชัวร์และโดเมนแอปพลิเคชันในผู้ดูแลเว็บ นั่นคือตอนที่เราพบปัญหาทันที หน้าแอปพลิเคชันทั้งหมดถูกบล็อกไม่ให้ถูกจัดทำดัชนีโดยเครื่องมือค้นหา เราไปที่รายการ robots.txt ในผู้ดูแลเว็บและระบุปัญหาได้ทันที

ในขณะที่เตรียมการโยกย้ายทีมพัฒนาไม่ต้องการให้โดเมนย่อยของแอปพลิเคชันถูกจัดทำดัชนีโดยการค้นหาดังนั้นจึงไม่อนุญาตให้เข้าถึงเครื่องมือค้นหา ไฟล์ robots.txt เป็นไฟล์ที่พบในรูทของไซต์ของคุณ - yourdomain.com/robots.txt - ช่วยให้เครื่องมือค้นหาทราบว่าควรรวบรวมข้อมูลเว็บไซต์หรือไม่ คุณสามารถเขียนกฎเพื่ออนุญาตหรือไม่อนุญาตให้มีการจัดทำดัชนีบนทั้งไซต์หรือบางเส้นทาง คุณยังสามารถเพิ่มบรรทัดเพื่อระบุไฟล์แผนผังเว็บไซต์ของคุณ

พื้นที่ปลูก robots.txt ไฟล์มีรายการต่อไปนี้ซึ่งป้องกันไม่ให้ไซต์ถูกรวบรวมข้อมูลและจัดทำดัชนีในการจัดอันดับผลการค้นหา:

ตัวแทนผู้ใช้: * Disallow: /

ควรเขียนไว้ดังนี้:

ตัวแทนผู้ใช้: * อนุญาต: /

ส่วนหลังให้สิทธิ์แก่เครื่องมือค้นหาใด ๆ ที่รวบรวมข้อมูลไซต์ที่สามารถเข้าถึงไดเร็กทอรีหรือไฟล์ใด ๆ ภายในไซต์ได้

เยี่ยมมาก ... ตอนนี้ที่ robots.txt ไฟล์สมบูรณ์ แต่ Google จะรู้ได้อย่างไรและจะตรวจสอบเว็บไซต์อีกครั้งเมื่อใด คุณสามารถขอให้ Google ตรวจสอบ robots.txt ของคุณได้ แต่ก็ไม่ง่ายเกินไป

ไปที่ Google Search Console Search Console ไป รวบรวมข้อมูล> ตัวทดสอบ robots.txt. คุณจะเห็นเนื้อหาของไฟล์ robots.txt ที่รวบรวมข้อมูลล่าสุดภายในเครื่องทดสอบ หากคุณต้องการส่งไฟล์ robots.txt ของคุณอีกครั้งให้คลิกส่งแล้วป๊อปอัปจะมีตัวเลือกสองสามตัวเลือก

ส่ง robots.txt อีกครั้ง

ตัวเลือกสุดท้ายคือ ขอให้ Google อัปเดต. คลิกปุ่มส่งสีน้ำเงินถัดจากตัวเลือกนั้นจากนั้นกลับไปที่ไฟล์ รวบรวมข้อมูล> ตัวทดสอบ robots.txt ตัวเลือกเมนูเพื่อโหลดหน้าซ้ำ ตอนนี้คุณควรเห็นไฟล์ robots.txt ที่อัปเดตพร้อมกับการประทับวันที่ซึ่งแสดงว่ามีการรวบรวมข้อมูลอีกครั้ง

หากคุณไม่เห็นเวอร์ชันที่อัปเดตคุณสามารถคลิกส่งแล้วเลือก ดูเวอร์ชันที่อัปโหลด เพื่อนำทางไปยังไฟล์ robots.txt จริงของคุณ หลายระบบจะแคชไฟล์นี้ ในความเป็นจริง IIS สร้างไฟล์นี้แบบไดนามิกตามกฎที่ป้อนผ่านอินเทอร์เฟซผู้ใช้ คุณมักจะต้องอัปเดตกฎและรีเฟรชแคชเพื่อเผยแพร่ไฟล์ robots.txt ใหม่

robots-txt-tester

คุณคิดอย่างไร?

ไซต์นี้ใช้ Akismet เพื่อลดสแปม เรียนรู้วิธีการประมวลผลข้อมูลความคิดเห็นของคุณ.