筆者曾認真研究和分析過產(chǎn)品從企業(yè)到消費者手中的路徑，得出一個結(jié)論，消費者向企業(yè)購買產(chǎn)品共經(jīng)歷了以下四個步驟：找到你、了解你、滿意你、忠誠你。企業(yè)在建立好網(wǎng)站之后，首先就是要讓客戶找到你。很顯然，要想讓客戶找到你，那么網(wǎng)站就必須被搜索引擎收錄，能在搜索引擎的搜索結(jié)果頁面上查找到。因此“網(wǎng)站收錄”是企業(yè)網(wǎng)站進行網(wǎng)絡(luò)營銷的當(dāng)務(wù)之急，如下圖所示：
 

不同的搜索引擎對網(wǎng)站收錄情況不一樣，但基本收錄功能是差不多的，下面以百度收錄為例介紹搜索引擎收錄網(wǎng)站的原理。

要想了解網(wǎng)站收錄，首先要了解網(wǎng)絡(luò)蜘蛛的基本工作原理。網(wǎng)絡(luò)蜘蛛又稱為網(wǎng)絡(luò)機器人，英文名字叫Web Spider，這是一個非常形象的名字，如果把互聯(lián)網(wǎng)比喻成一個蜘蛛網(wǎng)，那么Spider就是在網(wǎng)上爬來爬去的蜘蛛。網(wǎng)絡(luò)蜘蛛是通過網(wǎng)頁的鏈接地址來尋找網(wǎng)頁，從網(wǎng)站的某個頁面（通常是首頁）開始，讀取網(wǎng)頁的內(nèi)容，找到在網(wǎng)頁中其他鏈接地址，然后通過這些鏈接地址尋找下一個網(wǎng)頁，如此循環(huán)下去，直到把這個網(wǎng)站所有的網(wǎng)頁都抓取完。

筆者更愿意把網(wǎng)絡(luò)蜘蛛稱為抓取機器人，這是因為網(wǎng)絡(luò)蜘蛛在抓取所有的頁面文件之后，會把抓取到的文件存入數(shù)據(jù)庫，可以把這個數(shù)據(jù)庫比作為一個非常龐大的Excel表格，這個Excel表格的每一行就代表一個網(wǎng)頁，而網(wǎng)頁的文字則被分解到每個單元格里。

當(dāng)用戶在搜索引擎界面中輸入關(guān)鍵詞時，搜索引擎程序就會對撞索詞進行處理，從搜索引擎數(shù)據(jù)庫找到所有包含搜索詞的頁面，并根據(jù)排名算法計算出各個網(wǎng)頁的排名。對于這個“搜索詞處理”的環(huán)節(jié)，就好像在一個龐大的虛擬的Excel表格進行“條件篩選”的過程，當(dāng)然整個搜索引擎的過程比這復(fù)雜得多。

網(wǎng)絡(luò)蜘蛛在抓取網(wǎng)頁時，一般有兩種策略：廣度優(yōu)先和深度優(yōu)先，如下圖所示。
 

廣度優(yōu)先是指網(wǎng)絡(luò)蜘蛛會先抓取起始網(wǎng)頁中鏈接的所有網(wǎng)頁，然后再選擇其中的一個鏈接網(wǎng)頁，繼續(xù)抓取在此網(wǎng)頁中鏈接的所有網(wǎng)頁。這是最常用的方式，因為這個方法可以讓網(wǎng)絡(luò)蜘蛛并行處理，提高其抓取速度。

深度優(yōu)先是指網(wǎng)絡(luò)蜘蛛會從起始頁開始，一個鏈接一個鏈接地跟蹤下去，處理完這條線路之后再轉(zhuǎn)人下一個起始頁，繼續(xù)跟蹤鏈接。這個方法有一個優(yōu)點就是網(wǎng)絡(luò)蜘蛛在抓取的時候比較容易。

每個網(wǎng)絡(luò)蜘蛛都有自己的名字，在抓取網(wǎng)頁時，都會向網(wǎng)站表明自己的身份。例如Google網(wǎng)絡(luò)蜘蛛稱為GoogleBot，百度網(wǎng)絡(luò)蜘蛛稱為BaiDuSpider，雅虎網(wǎng)絡(luò)蜘蛛稱為Inktomi Slurp等。

本文內(nèi)容摘取于《中小網(wǎng)站生存●運營一本通》，僅供學(xué)習(xí)參考用途！