網絡爬蟲(又被稱爲網頁蜘蛛，網絡機器人)，是一種依照一定的規則、自動的抓取萬維網信息的順序或許腳本。通常它爲搜索引擎從萬維網上下載網頁，是搜索引擎的重要組成局部。

抓取戰略

鏈接的抓取戰略可以分爲深度優先、廣度優先和最佳優先三種。

1、深度化先捜索戰略從起始網頁開端，選擇一個URL進入，剖析這個網頁中的URL，選擇一個再進入。如此深化地抓取下去，直四處理完一條道路之后再處置下一條道路。

深度優先戰略設汁較爲復雜。但是用戶網站提供的鏈接往往最具價值，PageRa址也很高，但每深化一層，網頁價值和PageRank都會相應地有所下降。這暗示了重要網頁通常跑離種子較近，而過度深化抓取到的網頁價值巧低。同時，這種戰略抓取深度間接影響著抓取命中率以及抓取效率，對抓取深度是該種戰略的關鍵。絕對于其他兩種戰略而言。此種戰略很少被運用。

2、廣度優先捜索戰略是指在抓取進程中，在完成以后層次的捜索后，才停止下一層次的捜索。在目前爲掩蓋盡能夠多的網頁，普通運用廣度優先搜索辦法。也有很多研討將廣度優先搜索戰略應巧于聚焦爬蟲中。其根本思想是以為與初始URL在一定鏈接間隔內的網頁具有主題相關性的概率很大。另外一種辦法是將廣度優先捜索與網頁過濾技術結合運用，先用廣度優先戰略抓取網頁，再將其中有關的網頁過濾掉。這些辦法的缺陷在于，隨著抓取網頁的増多，少量的有關網頁將被下載并過濾，算法的效率將變低。

3、最佳優先捜索戰略依照一定的網頁剖析算法，預測候選URL與目的網頁的類似度、或與主題的相關性，并選取評價最好的一個或幾個URL停止抓取。它只拜訪經過網頁剖析算法預測爲"有用"的網頁。存在的一個成績是，在爬蟲抓取途徑上的很多相關網頁能夠被疏忽，由于最佳化先戰略是一種部分最優搜索算法。因而需求將最佳優先結合詳細的使用停止改良，以跳出部分最優點。研討標明，這樣的閉環調整可以將有關網頁數量降低30%~90%。

由于對爬取的網頁特殊要求，因而運用短網址鏈接是比擬復雜被匍匐抓取。