0 Shares 680 Views 1 Comments

Robots.txt – robots.txt là gì?

Mar 07, 2017
0 681 1

Robots.txt là tập tin được dùng để trực tiếp hoặc để cho chương trình web những gì các trang và thư mục chỉ mục hay không chỉ số. Tập tin này phải được đặt trong thư mục gốc trên máy chủ lưu trữ trang web của bạn. Các tập tin nên được đặt tên robots.txt và cần phải có quyền đọc. Dưới đây là một ví dụ về một tập tin robots.txt.

robots.txt là gì

# robots.txt file cho http://www.computerhope.com
User-agent: *
Disallow: / directory1 /
Disallow: / directory2 /

Trong ví dụ robots.txt trên, dòng đầu tiên là một tuyên bố nonexecutable mô tả các tập tin. Tiếp theo, trong dòng User-agent nói gì robot hay bot nên theo phần này của tập tin. Trong ví dụ trên, các * đại diện cho tất cả các chương trình. Cuối cùng, hai dòng tiếp theo là hai thư mục mà bạn muốn các chương trình không chỉ mục.

Nếu bạn muốn cho phép một bot để truy vấn tất cả các URL trong trang web của bạn, nhập tên của bot sau disallow: với một giá trị trống, như đã thấy trong các ví dụ dưới đây.

User-agent: Somebot *
Disallow:

You may be interested

Most from this category