現(xiàn)在我們知道蜘蛛爬行并不爬行和抓取所有的頁面，以便包括更多的頁面，我們必須學(xué)會(huì)取悅蜘蛛。蜘蛛的任務(wù)是盡可能多地抓取重要的頁面。在這方面，我們正在努力取悅它，它是一個(gè)很好的行為，讓蜘蛛爬上和抓住它是很容易的。

蜘蛛一般喜歡下列行為：

首先，網(wǎng)站和網(wǎng)頁的重量盡可能高，在爬行蜘蛛的過程中，首先考慮這個(gè)網(wǎng)站，因?yàn)樵谥┲肟磥恚哔|(zhì)量、長期存在的網(wǎng)站會(huì)有相對(duì)較高的重量。且該高權(quán)重網(wǎng)站甚至可以達(dá)到二級(jí)包容的效果。

第二，頁面更新的頻率應(yīng)該很高如果我們不定期更新頁面，蜘蛛就不需要定期來獲取頁面內(nèi)容。只有我們定期更新網(wǎng)頁，蜘蛛才會(huì)更頻繁地訪問我們的網(wǎng)站。因此，更好在維護(hù)期間更新網(wǎng)站，不僅是原始內(nèi)容，還要重印一些時(shí)間敏感信息。

第三，內(nèi)外鏈的高質(zhì)量施工可提高蜘蛛爬行深度。要由蜘蛛捕獲，必須導(dǎo)入頁面中的鏈接，否則，蜘蛛將不會(huì)對(duì)頁面進(jìn)行爬網(wǎng)，更不用說捕獲和收集了。以下是高質(zhì)量內(nèi)部和外部鏈接重要性的體現(xiàn)。這也是“內(nèi)容為王，外鏈為落后”這一短語的基礎(chǔ)。蜘蛛沿著鏈子爬行，如果有高質(zhì)量的外鏈子，蜘蛛爬行的深度就會(huì)加深，很可能會(huì)爬上幾層，這樣我們的頁面就更容易被蜘蛛捕捉。

蜘蛛最喜歡的行為是4:離主頁的距離。與主頁的距離一般是因?yàn)橹黜摰闹亓扛螅┲肱赖街黜摰拇螖?shù)最多。每次一個(gè)鏈接調(diào)用一次點(diǎn)擊，離主頁的距離越近，頁面的重量就越大。蜘蛛喜歡這些短距離高重量的網(wǎng)頁。頁面權(quán)重也可以通過url結(jié)構(gòu)直觀地反映出來，而短、淺的url結(jié)構(gòu)所代表的頁面權(quán)重相對(duì)較高。