Xin chào các bạn!
File Robots.txt là 1 dạng văn bản chứa các mã lệnh mà người quản trị web tạo ra, nó có tác dụng điều hướng các bots của công cụ tìm kiếm khi vào website của các bạn. Mà cụ thể là nó cho phép hay không cho phép bots đánh chỉ mục 1 thư mục bất kỳ nào đó trong website của bạn hay không ?
File Robots.txt được đặt trong thư mục gốc đầu tiên của website và ngang hàng với các file index.php, sitemap.xml… ví dụ như: http://tenten.vn/robots.txt
Cách tạo 1 file robots.txt rất đơn giản, bạn chỉ cần mở notepad hoặc notepad ++ chèn các mã lệnh và lưu file dưới đạng đuôi .txt
Ví dụ file robots.txt của tôi có dạng như sau
User-agent: *
Allow: /media/
Disallow: /wp-admin/
Disallow: /wp-includes/
Sitemap: http://tenten.vn/sitemap.xml
- User-agent : dùng để xác định bots của công cụ tìm kiếm nào.
- Allow: cho phép bot vào thư mục, trang nào đó.
- Disallow: chặn bot vào thư mục, trang nào đó.
Theo như cách hướng dẫn trên, các bạn có thể hiểu 1 cách đơn giản như sau: thư mục nào mà chúng ta không cần index thì nên chặn bots còn không thì ngược lại.
Việc điều hướng này rất có ích trong việc SEO bởi các bots tìm kiếm sẽ không tự động lập chỉ mục các file, thư mục không mong muốn.
Sau khi tạo xong file robots.txt các bạn có thể trực tiếp vào công cụ webmaster tool để gửi cập nhập và kiểm tra lại cho chính xác, hoặc truy cập vào trình duyệt theo đường dẫn http://tenmien.com/robot.txt
Chúc các bạn thành công!
