什么是robots.txt?百度百科的解釋是"robots.txt一般指Robots協(xié)議(也稱為爬蟲協(xié)議、機(jī)器人協(xié)議等)的全稱是“網(wǎng)絡(luò)爬蟲排除標(biāo)準(zhǔn)”(Robots Exclusion Protocol)，網(wǎng)站通過(guò)Robots協(xié)議告訴搜索引擎哪些頁(yè)面可以抓取，哪些頁(yè)面不能抓取。"

用大白話解釋一遍：robots.txt文件就是網(wǎng)站的一扇門，關(guān)掉門就把搜索引擎spider拒之門外了，打開門spider就可以隨意觀賞你網(wǎng)站的每個(gè)角落，發(fā)現(xiàn)好看的地方就會(huì)拍照留存，你也是可以通過(guò)設(shè)置robots文件的內(nèi)容，禁止spider看你的私人臥室的。當(dāng)然spider有時(shí)候可能好奇心比較重，會(huì)破門而入那就是特殊情況了。

如果在網(wǎng)站優(yōu)化的過(guò)程中，因?yàn)檎`操作不小心把這扇門給關(guān)上了，就意味著是私人領(lǐng)地禁止spider訪問(wèn)，搜索引擎spider會(huì)很紳士的回去，下一次再來(lái)拜訪，多次拜訪后還是禁止訪問(wèn)，spider就明白你的意思了，不會(huì)再來(lái)拜訪了!spider會(huì)認(rèn)為你的網(wǎng)站內(nèi)容不適合公開，就不會(huì)在搜索引擎中給予任何排名。

為了保證搜索體驗(yàn)，搜索引擎還是會(huì)把你網(wǎng)站首頁(yè)留存在索引里面，當(dāng)別人查詢的時(shí)候就告訴別人，我曾經(jīng)多次訪問(wèn)過(guò)這個(gè)網(wǎng)站，但它把我拒之門外了，我是紳士所以不能訪問(wèn)這個(gè)網(wǎng)站的內(nèi)容，你可以點(diǎn)擊這個(gè)排名結(jié)果訪問(wèn)。

一：如果你的網(wǎng)站是希望通過(guò)搜索引擎獲取排名的，但卻因?yàn)檎`操作通過(guò)robots.txt文件，封禁了搜索引擎的抓取，如何處理呢?

1.修改Robots封禁為允許，然后到百度站長(zhǎng)后臺(tái)檢測(cè)并更新Robots。

2.在百度站長(zhǎng)后臺(tái)抓取檢測(cè)，此時(shí)顯示抓取失敗，沒(méi)關(guān)系，多點(diǎn)擊抓取幾次，觸發(fā)蜘蛛抓取站點(diǎn)。

3.在百度站長(zhǎng)后臺(tái)抓取頻次，申請(qǐng)抓取頻次上調(diào)。

4.百度反饋中心，反饋是因?yàn)檎`操作導(dǎo)致了這種情況的發(fā)生。

5.百度站長(zhǎng)后臺(tái)鏈接提交處，設(shè)置數(shù)據(jù)主動(dòng)推送(實(shí)時(shí))。

6.更新sitemap網(wǎng)站地圖，重新提交百度，每天手工提交一次。

正確的處理robots封禁文件后，搜索引擎會(huì)在一周的時(shí)間內(nèi)，重新抓取你的網(wǎng)站，你的網(wǎng)站就會(huì)恢復(fù)到正常抓取狀態(tài)!雖然處理這個(gè)問(wèn)題并不難，畢竟多多少少會(huì)給網(wǎng)站帶來(lái)?yè)p失，因此還是需要seoer們多多注意的。

二：什么情況下會(huì)導(dǎo)致誤操作封禁了robots.txt文件呢?

1.在網(wǎng)站建設(shè)或開發(fā)的前期，一般都會(huì)封禁robots.txt文件，禁止spider抓取，而網(wǎng)站上線后卻忘記了修改robots文件;

2.在網(wǎng)站升級(jí)或改版的時(shí)候，如果技術(shù)選擇了在線開發(fā)，但為了避免spider抓取開發(fā)版本，造成不好的印象，而要求技術(shù)人員設(shè)置了Robots封禁處理，版本迭代卻忘了更新robots文件;

3.對(duì)robots.txt文件的設(shè)置使用不熟練，也有可能錯(cuò)誤的禁止了某些本該開放抓取的文件，或者開放了某些本該禁止抓取的文件。