robots.txt 文件必須放在網(wǎng)站的根目錄。
放在子目錄的 Robots.txt 文件搜索引擎不能爬取到，所以不會起任何作用。
如：
http://www.xjfnj.com/robots.txt 是有效的。
http://www.xjfnj.com/a/robots.txt 是無效的。
以下3種情況需要注意：
1、如果手機網(wǎng)站采用的是m.的二級域名，要給手機網(wǎng)站設置robots.txt的話，robots.txt要放在m. 這個二級域名的根目錄下，而不是www的根目錄。
2、給網(wǎng)站添加了一個站內(nèi)站，如果要屏蔽某鏈接，是在www根目錄下的robots里屏蔽，而不是給站內(nèi)站創(chuàng)建獨立的robtos.txt文件。
3、網(wǎng)站有多個二級域名的話，應該每個二級域名設置一個robots.txt。搜外問答的例子，點擊查看。
擴展閱讀：
