Trang chủ Blog Seo Cách tạo file robots.txt cho WordPress

File robots.txt đóng vai trò quan trọng trong việc điều hướng Bots, Spiders ghé thăm trang web. Nó sẽ sử dụng một số lệnh cho phép hoặc ngăn chặn bot lập chỉ mục một thư mục nào đó. Bài viết này DN Media sẽ giải thích rõ hơn về File robots.txt là gì và cách để tạo ra một tập tin để sử dụng trong mã nguồn WordPress.

File robots.txt là gì?

Robots.txt giống như một nhân viên an ninh. Khi Bot của công cụ tìm kiếm ghé thăm chúng sẽ thu thập mọi thông tin có trên website. Nhưng khi dùng file Robots.txt sẽ chặn hoặc cho phép bot lấy dữ liệu.

Bằng cách sử dụng:

  • Allow: Cho phép
  • Disallow: Không cho phép

Hướng dẫn cách tạo file robots.txt cho WordPress

Trong mã nguồn WordPress để tạo tập tin robots bạn chỉ cần cài plugin Yoast Seo

Tại cột menu bên trái ấn vào SEO => Công cụ (Tools)

robotstxt

Bước 2: Ấn vào trình chỉnh sửa tập tin

robotstxt-1

Nếu chưa có bạn ấn vào Create robots.txt file

Cấu trúc file robots.txt mặc định:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://dn-media.net/sitemap_index.xml

Những file nên cho phép:

Allow: /wp-content/uploads/

Những file cần chặn:

Để không bị thuật toán Google Panda phạt bạn nên sử dụng file robots.txt chặn một số URL, thư mục như:

Disallow: /readme.html

– Loại bỏ trùng lặp phân trang (Page Navigation)

Disallow: /page/*

– Các trang có nội dung trùng lặp

– Một số chặn khác

Disallow: /feed/
Disallow: /trackback/
Disallow: */feed/
Disallow: */trackback/
Disallow: /*?
Disallow: /xmlrpc.php
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /?s=
Disallow: /search/

Sau khi thiết lập file robots.txt xong bạn sẽ truy cập vào địa chỉ website để xem.

https://ten-domain.com/robots.txt

Bạn đã biết được Robots.txt là gì và cách tạo ra một tập tin để sử dụng rồi đúng không nào. Tuy nhiên một lưu ý đó là bạn nên thận trọng khi sử dụng bởi nếu làm sai sẽ khiến cho Google không thể index URL trên website.

Đăng trong Seo
Ý kiến bình luận
0369.645.626
challenges-icon chat-active-icon
chat-active-icon