File robots.txt là gì?

Tệp robots.txt là một tệp văn bản thuần túy có đuôi mở rộng.txt. Tệp này là một phần của Giao thức loại trừ rô bốt (REP), là một tập hợp các tiêu chuẩn web mô tả cách rô bốt Web (còn được gọi là rô bốt công cụ tìm kiếm) quét internet, truy cập, lập chỉ mục và cung cấp thông tin. thông tin đó cho người dùng
Meta Robots, Page-Subdirectory và Site-Wide Guide là một trong những lệnh có trong REP. Nó cho các công cụ của Google biết cách xử lý các liên kết (ví dụ: Theo dõi hoặc liên kết Nofollow).
Trên thực tế, việc sử dụng WordPress để tạo robots.txt cho phép quản trị viên web linh hoạt và chủ động hơn trong việc cấp hoặc không cho phép bot công cụ lập chỉ mục của Google truy cập vào một số khu vực nhất định trên trang web của họ.
webwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebwebweb

Leave a Reply

Your email address will not be published. Required fields are marked *