第一，合理設(shè)置網(wǎng)站的roobots文件。網(wǎng)站roobots文件有以下幾個重要作用:             
       1、有效屏蔽網(wǎng)站站內(nèi)的死鏈接。
       2、可以分別設(shè)置不同權(quán)重的重要頁面。比如一些廣告板塊，一些僅僅為了展示給用戶但是并不希望蜘蛛抓取參與排名計算的頁面，都可以用roobots屏蔽抓取。
       3、對于網(wǎng)站后臺或者一些比較隱私的內(nèi)容進(jìn)行屏蔽。在這里筆者告訴大家兩點(diǎn)robots.txt文件的基本語法。
       第一條是：User-agent，即搜索引擎蜘蛛的名稱;
       第二條是：Disallow，即不允許抓取的部分。當(dāng)然還有一些通配符以及具體的細(xì)節(jié)用法我們可以百度搜索下，或者參照一些seo類的書籍進(jìn)行設(shè)置，總之網(wǎng)站roobots文件是必須設(shè)置的，它是明確告知搜索引擎對于網(wǎng)站抓取級別的總大綱是蜘蛛訪問網(wǎng)站的第一個訪問文件，所以一定要在優(yōu)化過程中予以重視。

第二，為網(wǎng)站設(shè)置合理的網(wǎng)站地圖。

   網(wǎng)站地圖是引導(dǎo)蜘蛛快速抓取整個網(wǎng)站目錄結(jié)構(gòu)非常有效的途徑，地圖顧名思義，我們一般去一個陌生的城市都會購買一份當(dāng)?shù)氐牡貓D，通過地圖可以直觀的看到自己所在的地點(diǎn)和目標(biāo)地點(diǎn)的直接距離，從而選擇合適的出行方式。而網(wǎng)站地圖也是一個道理，蜘蛛猶如一個陌生人，來到我們站點(diǎn)之后通過對于網(wǎng)站地圖的熟悉，就能輕而易舉的對于整體網(wǎng)站路徑有個明確的認(rèn)知，接著有主意對于權(quán)重頁的判斷和甄別主要表現(xiàn)在對于更新頻繁的欄目進(jìn)行有效的抓取，對于一些更新率低或者不更新的欄目，降低爬行次數(shù)甚至不爬行，就網(wǎng)站本身而言一個動態(tài)的網(wǎng)站地圖有助于提高網(wǎng)站的收錄速度。

第三，對于網(wǎng)站源文件的清理和減肥。

     網(wǎng)頁源文件代碼的有效處理是站內(nèi)優(yōu)化非常關(guān)鍵的一個環(huán)節(jié)，我們知道蜘蛛的抓取方式和我們經(jīng)常出行乘坐的公交車是一個道理，遇到車流高峰勢必會出現(xiàn)很大程度的擁堵，而臃腫的代碼勢必會造成蜘蛛訪問的瓶頸，那么，具體我們要如何進(jìn)行代碼減肥呢?比如去掉無用的空格，對于css文件、JS文件進(jìn)行合并操作，最好獨(dú)立出來放到單獨(dú)的外部文件中，通過頭部引用來導(dǎo)入所需頁面中，尤其是布局頁面，建站之初就要想到代碼優(yōu)化的細(xì)節(jié)點(diǎn)，比如可以使用css和div進(jìn)行頁面布局，表格有時候?yàn)榱瞬季中枰坏貌辉黾雍芏酂o用的冗余代碼，這些都是代碼減肥的細(xì)節(jié)要點(diǎn)。

第四，為網(wǎng)站設(shè)置404和301跳轉(zhuǎn)。

   404頁面主要是針對網(wǎng)站錯誤鏈接而生的，由于網(wǎng)站改版、轉(zhuǎn)移空間、備份恢復(fù)等勢必會造成網(wǎng)站很多錯誤頁無法訪問的問題，很多時候自己不注意還發(fā)現(xiàn)不了，但是這些錯誤頁對于網(wǎng)站用戶的傷害是非常大的，影響了用戶體驗(yàn)，這個時候404頁面，就是告訴用戶，這個頁面不存在，然后通過一個回路鏈接導(dǎo)入網(wǎng)站其他部分，這樣不是非常友好的給用戶提示了嗎，通過回路可以讓客戶繼續(xù)逗留在網(wǎng)站之中，增加了用戶的停留時間，從而降低跳出率。

另外，301也是常用的手段，主要是為了網(wǎng)站設(shè)置首選域的問題，一般站長會將不帶www的域名永久重定向到www主機(jī)頭上面去，另外網(wǎng)站域名在更換的時候或者重新申請新域名時也常常采用這種手法。就是將不在使用的域名永久重定向到現(xiàn)在的這個新域名上，這樣新域名就很好的繼承了原來域名的權(quán)重，非常有利于網(wǎng)站權(quán)重的繼續(xù)穩(wěn)定的延續(xù)。