午夜精品久久久久久久久久蜜桃,色av手机在线,h片在线观看,亚洲成人av电影

　　您會應用robots.txt,鄭州網站優化的robots.txt高級應用程序技能嗎?

　　robots.txt使用要點

　　在介紹高級應用程序之前，讓我們先看看使用robots.txt的要點：

　　1.每個域名，無論它是否是子域名，最多可以有一個robots.txt文件，可以放在網站根目錄中。YourName.com的robots.txt對abc.youname.com沒有任何限制。

　　2.每個協議都可以有robots.txt。例如，http://yourname.com和https://yourname.com可以各有一個robots.txt。

　　3.每個端口可以有一個robots.txt。例如，http://yourname.com和http://yourname.com:8080可以各有一個robots.txt。

　　4.文件名必須是小寫。不可能是robots.txt。

　　5.用戶代理的名稱和用戶代理的大小寫、允許、不允許、爬行延遲、站點地圖指示符都是不敏感的.

　　6.robots.txt中包含的URL區分大小寫。通過區分大小寫，可以有效地排除索引。

　　“允許”和“不允許”的URL必須是不包括協議、域名和端口的路徑。

　　7.不允許：http://yourname.com/abc.htm錯了。更改為“不允許”：/abc.htm

　　8.Sitemap必須包含以HTTP或HTTPS開頭的完整URL。

　　9.txt不是死鎖提交工具。如果要刪除死鎖索引，則應登錄到搜索引擎網站管理員平臺提交。

　　10.txt只差于robots.txt，在這個文件中沒有任何區別，也就是說，是否要做這個排除。刪除robots.txt意味著爬行對漫游完全開放。

　　11.robots.txt只是一個紳士，而不是一個惡棍。歷史上有許多違反robots.txt的行為。網站想在著陸后發布機密信息。

　　12.如果要嚴格防止搜索引擎索引，建議不使用索引標記。但百度不支持。

　　13.Google和百度不支持爬行延遲，而Yandex和Bing則支持。Yandex還支持主機指示符來表示首選域名。

　　14.符號#用于注釋。

　　更多詳情了解，鄭州網絡公司，鄭州網絡推廣，鄭州網站優化，鄭州網站制作：http://www.www-9346.com/