File robots.txt đóng vai trò quan trọng trong việc điều hướng Bots, Spiders ghé thăm trang web. Nó sẽ sử dụng một số lệnh cho phép hoặc ngăn chặn bot lập chỉ mục một thư mục nào đó. Bài viết này DN Media sẽ giải thích rõ hơn về File robots.txt là gì và cách để tạo ra một tập tin để sử dụng trong mã nguồn WordPress.
File robots.txt là gì?
Robots.txt giống như một nhân viên an ninh. Khi Bot của công cụ tìm kiếm ghé thăm chúng sẽ thu thập mọi thông tin có trên website. Nhưng khi dùng file Robots.txt sẽ chặn hoặc cho phép bot lấy dữ liệu.
Bằng cách sử dụng:
- Allow: Cho phép
- Disallow: Không cho phép
Hướng dẫn cách tạo file robots.txt cho WordPress
Trong mã nguồn WordPress để tạo tập tin robots bạn chỉ cần cài plugin Yoast Seo
Tại cột menu bên trái ấn vào SEO => Công cụ (Tools)
Bước 2: Ấn vào trình chỉnh sửa tập tin
Nếu chưa có bạn ấn vào Create robots.txt file
Cấu trúc file robots.txt mặc định:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://dn-media.net/sitemap_index.xml
Những file nên cho phép:
Allow: /wp-content/uploads/
Những file cần chặn:
Để không bị thuật toán Google Panda phạt bạn nên sử dụng file robots.txt chặn một số URL, thư mục như:
Disallow: /readme.html
– Loại bỏ trùng lặp phân trang (Page Navigation)
Disallow: /page/*
– Các trang có nội dung trùng lặp
– Một số chặn khác
Disallow: /feed/
Disallow: /trackback/
Disallow: */feed/
Disallow: */trackback/
Disallow: /*?
Disallow: /xmlrpc.php
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /?s=
Disallow: /search/
Sau khi thiết lập file robots.txt xong bạn sẽ truy cập vào địa chỉ website để xem.
https://ten-domain.com/robots.txt
Bạn đã biết được Robots.txt là gì và cách tạo ra một tập tin để sử dụng rồi đúng không nào. Tuy nhiên một lưu ý đó là bạn nên thận trọng khi sử dụng bởi nếu làm sai sẽ khiến cho Google không thể index URL trên website.
