誤區(qū)一：我網(wǎng)站上所有的文件都需要被蜘蛛抓取，那我就沒必要添加robots.txt文件了。反正如果該文件不存在，所有的搜索蜘蛛將默認能夠訪問網(wǎng)站上所有沒有被口令保護的頁面。

　　每當用戶試圖訪問某個不存在的URL時，服務(wù)器都會在日志中記錄404錯誤文件（無法找到文件）。每當搜索蜘蛛來尋找并不存在的robots.txt文件時，服務(wù)器也將在日志中記錄一條404錯誤文件，所以你應(yīng)該在網(wǎng)站中添加一個robots.txt。

　　誤區(qū)二：在robots.txt文件中設(shè)置所有的文件都可以被搜索蜘蛛抓取，這樣可以增加網(wǎng)站的收錄率。

　　網(wǎng)站中的腳本程序、樣式表等文件即使被蜘蛛收錄，也不會增加網(wǎng)站的收錄率，還只會占用服務(wù)器存儲空間。因此必須在robots.txt文件里設(shè)置不要讓搜索蜘蛛索引腳本程序、樣式表等文件，具體哪些文件需要排除，在robots.txt使用技巧一文中有詳細介紹。

　　誤區(qū)三：搜索蜘蛛抓取網(wǎng)頁太浪費服務(wù)器資源，在robots.txt文件中設(shè)置所有的搜索蜘蛛都不能抓取全部的網(wǎng)頁。