相信做網站SEO的對于robots文件并不陌生(shēng)，robots主要是跟網站爬蟲間協議，用通俗的說就是用txt文本告訴搜索引擎，這些網站鏈接是限制爬蟲抓取的，因爲蜘蛛每訪問一(yī)個站點時，它都會先對該網站的根目錄下(xià)是否存在robots.txt文件進行查看，接下(xià)去(qù)搜索引擎就會按照該文件中(zhōng)的内容來确定訪問範圍。關于robots文件可能有很多站長不知(zhī)道如何去(qù)使用或是屏蔽哪些内容，接下(xià)來就由小(xiǎo)編一(yī)起帶大(dà)家了解一(yī)下(xià)。

　　Robots爲什麽要限制?

　　我(wǒ)(wǒ)們網站通常會分(fēn)爲幾大(dà)模塊，每個模塊都會有相對應的權重占比，随着搜索引擎算法不斷更新，對于每一(yī)個網站評分(fēn)不僅僅是頁面收錄量，而是對該站點的内容質量進行評比，比如今年搜索引擎會計算整站的質量頁面占比，占比越高相對的排名展示會越好。那麽針對一(yī)些不會原創也不會僞原創的朋友們就比較尴尬了，所以一(yī)些SEO朋友們不僅要學會如何優化網站，還需要有較好的文字功底，這樣才能寫出許多高質量新聞。

　　我(wǒ)(wǒ)們在新站上線之前通常會屏蔽這些頁面，例如：聯系我(wǒ)(wǒ)們、公司案例、網站登入後台等一(yī)些不參與排名的頁面，而其他頁面用心更新，搜索引擎會認爲這個網站是一(yī)個高質量的網站，所給予的評分(fēn)也會很高。那麽爲什麽屏蔽這些頁面?對于搜索引擎來說，這些頁面都是不充實或是沒有質量的頁面，如果被抓取了，最終會導緻整站分(fēn)權。

　　相信很多站長爲了方便搜索引擎抓取都是把網站地圖上的URL全站導出挂在網頁上，其實robots文件也是如此，爲了經常引蜘蛛到我(wǒ)(wǒ)們網站爬行是爲了能有更好排名，賦予一(yī)些有權重的頁面，另外(wài)一(yī)些不參與排名頁面就要用robots文件屏蔽。另外(wài)對于一(yī)些新站來說，搜索引擎抓取頻(pín)次是有限的，如果一(yī)開(kāi)始沒有把這些頁面加在一(yī)起，那麽會是一(yī)種浪費(fèi)。

　　以上介紹了Robots文件使用的介紹，如果我(wǒ)(wǒ)們沒有很厲害的算法，或是沒有任何資(zī)源的情況下(xià)，在做SEO優化過程中(zhōng)就需要注意這些細節性問題，往往細節會反應一(yī)個網站能否有更好的排名。當然SEO的知(zhī)識是永無止境的，隻有不斷摸索與嘗試才能夠讓自己更快的成長起來，如果還有更多優化方面疑問請告訴我(wǒ)(wǒ)們，我(wǒ)(wǒ)們會最真誠的爲您服務。