正常搜索引擎訪問一個站點的時候，首先會先看站點有沒有robots.txt文件，如果沒有則蜘蛛爬蟲會抓取網站上的所有數據；如果有蜘蛛爬蟲會根據robots.txt文件內容來確定自己能夠抓取訪問的文件有哪些。

運用好robots文件對於seo優化來說也是作用挺大的，我們先來看看robots.txt文件可以有哪些作用：

一、網站遇到升級或者改版，在改版前有很多頁面可能在改版後頁面不存在了，這種情況可以使用robots文件來告訴蜘蛛爬蟲，不要再對這些頁面地址進行抓取，並配合404設置來防止死鏈的產生。

二、如果你的站點目錄文件有一些不想公開，但是自己卻可以查看的情況下，可以使用robots文件來讓蜘蛛不對這些目錄文件地址不要抓取。

三、動態頁面不利於seo優化，我們如果網站本身沒有動態頁面地址但有時候因為使用的cms出現問題導致網站產生了動態鏈接的話，可以使用robots文件來禁止蜘蛛爬蟲對這類頁面的抓取。

本文由廣州SEO原創，轉載請保留鏈接: http://www.banyeseo.com/seojc/122.html

robots文件對網站優化有哪些作用