无码一级毛片一区二区_亚洲av中文无码字幕色本草_91视频久久久_国产精品强奸

robosts文件有什么用，怎么去更解？
robosts文件有什么作用，到底網(wǎng)站優(yōu)化中有什么作用？今天小威在這里一一說明一下。希望大家以后在創(chuàng)建robots文件時(shí)能有更好的理解。
首先我們先來了解一下robots.txt文件，它主要用于指令搜索引擎抓取內(nèi)容，至于怎么抓取就看你怎么設(shè)置robots.txt文件。當(dāng)你不會(huì)設(shè)置robots.txt文件時(shí)，留空都要建立這個(gè)文件，因?yàn)橐馕吨�搜索引擎默認(rèn)是全部允許抓取。
robots文件的記錄格式為：<域>:〈可選空格〉〈域值〉〈可選空格〉。
最簡(jiǎn)單的robots文件：
user-agent:*
disallow:/
而上面這個(gè)文件代表搜索引擎禁止收錄所有內(nèi)容。
user-agent:*
disallow:
而這個(gè)文件則代表搜索引擎允許收所有內(nèi)容。
其次，robots.txt文件應(yīng)該放在網(wǎng)站根目錄下，比如:http://www.fx0731.com,這個(gè)網(wǎng)站，我們應(yīng)該把robots.txt文件放于http://www.fx0731.com/robots.txt
也就是放于根目錄下。當(dāng)然有的服務(wù)器有問題，會(huì)返回一些錯(cuò)誤信息，就意味道robots文件不存在。所以服務(wù)器設(shè)置方面應(yīng)該注意的。
我們?cè)賮砜纯匆恍﹔obots.txt設(shè)置的舉例：
User-agent: * 　　
Disallow: /admin/ 后臺(tái)管理文件 　　
Disallow: /require/ 程序文件 　　
Disallow: /attachment/ 附件 　　
Disallow: /images/ 圖片 　　
Disallow: /data/ 數(shù)據(jù)庫文件 　　
Disallow: /template/ 模板文件 　　
Disallow: /css/ 樣式表文件 　　
Disallow: /lang/ 編碼文件 　　
Disallow: /script/ 腳本文件
當(dāng)然也有meta robots標(biāo)簽，只不過谷歌，必應(yīng)，雅虎才支持。比如：〈metaname="robots"content="noindex,nofollow">,表示禁止所有搜索引擎索引本頁面。還有一些相關(guān)標(biāo)簽如下：
noindex: 告訴蜘蛛不要索引本頁面。
nofollow:告訴蜘蛛不要跟蹤本頁面上的鏈接。
nosnippet:告訴搜索引擎不要在搜索結(jié)果中顯示說明文字。
noarchive:告訴搜索引擎不要顯示快照。
noodp:告訴搜索引擎不要使用開放目錄中的標(biāo)題和說明。
百度目前是只支持nofollow,noarchive的。
再者，robots.txt文件里還可以直接包括在sitemap文件的鏈接。就像這樣：Sitemap:http://www.mahaibin.org/sitemap.xml，總之這些設(shè)置方面還要你自己多花些心思去研究下，看看什么該抓取什么不該，這樣才能對(duì)你網(wǎng)站做優(yōu)化有好處。
robosts文件有什么用，怎么去更解？
robosts文件有什么作用，到底網(wǎng)站優(yōu)化中有什么作用？今天小威在這里一一說明一下。希望大家以后在創(chuàng)建robots文件時(shí)能有更好的理解。
首先我們先來了解一下robots.txt文件，它主要用于指令搜索引擎抓取內(nèi)容，至于怎么抓取就看你怎么設(shè)置robots.txt文件。當(dāng)你不會(huì)設(shè)置robots.txt文件時(shí)，留空都要建立這個(gè)文件，因?yàn)橐馕吨�搜索引擎默認(rèn)是全部允許抓取。
robots文件的記錄格式為：<域>:〈可選空格〉〈域值〉〈可選空格〉。
最簡(jiǎn)單的robots文件：
user-agent:*
disallow:/
而上面這個(gè)文件代表搜索引擎禁止收錄所有內(nèi)容。
user-agent:*
disallow:
而這個(gè)文件則代表搜索引擎允許收所有內(nèi)容。
其次，robots.txt文件應(yīng)該放在網(wǎng)站根目錄下，比如:http://www.fx0731.com,這個(gè)網(wǎng)站，我們應(yīng)該把robots.txt文件放于http://www.fx0731.com/robots.txt
也就是放于根目錄下。當(dāng)然有的服務(wù)器有問題，會(huì)返回一些錯(cuò)誤信息，就意味道robots文件不存在。所以服務(wù)器設(shè)置方面應(yīng)該注意的。
我們?cè)賮砜纯匆恍﹔obots.txt設(shè)置的舉例：
User-agent: * 　　
Disallow: /admin/ 后臺(tái)管理文件 　　
Disallow: /require/ 程序文件 　　
Disallow: /attachment/ 附件 　　
Disallow: /images/ 圖片 　　
Disallow: /data/ 數(shù)據(jù)庫文件 　　
Disallow: /template/ 模板文件 　　
Disallow: /css/ 樣式表文件 　　
Disallow: /lang/ 編碼文件 　　
Disallow: /script/ 腳本文件
當(dāng)然也有meta robots標(biāo)簽，只不過谷歌，必應(yīng)，雅虎才支持。比如：〈metaname="robots"content="noindex,nofollow">,表示禁止所有搜索引擎索引本頁面。還有一些相關(guān)標(biāo)簽如下：
noindex: 告訴蜘蛛不要索引本頁面。
nofollow:告訴蜘蛛不要跟蹤本頁面上的鏈接。
nosnippet:告訴搜索引擎不要在搜索結(jié)果中顯示說明文字。
noarchive:告訴搜索引擎不要顯示快照。
noodp:告訴搜索引擎不要使用開放目錄中的標(biāo)題和說明。
百度目前是只支持nofollow,noarchive的。
再者，robots.txt文件里還可以直接包括在sitemap文件的鏈接。就像這樣：Sitemap:http://www.mahaibin.org/sitemap.xml，總之這些設(shè)置方面還要你自己多花些心思去研究下，看看什么該抓取什么不該，這樣才能對(duì)你網(wǎng)站做優(yōu)化有好處。