網(wǎng)絡(luò)爬蟲是怎樣抓取網(wǎng)頁的？【爬蟲流程】

通用網(wǎng)絡(luò)爬蟲和聚焦網(wǎng)絡(luò)爬蟲盡管工作原理有一些差別，但它們抓取網(wǎng)頁的流程是類似的。圖1展示了網(wǎng)絡(luò)爬蟲抓取網(wǎng)頁的詳細(xì)流程，可以幫助大家更好地理解網(wǎng)絡(luò)爬蟲抓取網(wǎng)頁的詳細(xì)過程。

圖1 網(wǎng)絡(luò)爬蟲抓取網(wǎng)頁詳細(xì)流程

關(guān)于圖1中抓取網(wǎng)頁流程的詳細(xì)介紹如下。

(1)選擇一些網(wǎng)頁，將這些網(wǎng)頁的鏈接作為種子URL放入待抓取URL隊(duì)列中。

(2)從待抓取URL隊(duì)列中依次讀取URL。

(3)通過DNS解析URL，把URL地址轉(zhuǎn)換為網(wǎng)站服務(wù)器所對(duì)應(yīng)的IP地址。

(4)將IP地址和網(wǎng)頁相對(duì)路徑名稱交給網(wǎng)頁下載器，網(wǎng)頁下載器負(fù)責(zé)網(wǎng)頁內(nèi)容的下載。

(5)網(wǎng)頁下載器將相應(yīng)網(wǎng)頁的內(nèi)容下載到本地。

(6)將下載到本地的網(wǎng)頁存儲(chǔ)到頁面庫中，等待建立索引等后續(xù)處理;與此同時(shí)，將下載過網(wǎng)頁的URL放入已抓取URL隊(duì)列中。這個(gè)隊(duì)列記載了網(wǎng)絡(luò)爬蟲已經(jīng)下載過的網(wǎng)頁URL，以避免網(wǎng)頁重復(fù)抓取。

(7)從剛下載的網(wǎng)頁中抽取出所包含的URL信息。

(8)在已抓取URL隊(duì)列中檢查抽取的URL是否被下載過。如果它還未被下載過，則將這個(gè)URL放入待抓取URL隊(duì)列中。

如此重復(fù)步驟(2)~步驟(8)，直到待抓取URL隊(duì)列為空時(shí)停止抓取。