簡(jiǎn)述爬蟲(chóng)的工作原理及三個(gè)模塊
jj
2021-11-24
傳統(tǒng)爬蟲(chóng)從一個(gè)或幾個(gè)初始網(wǎng)頁(yè)的URL開(kāi)始，獲取初始網(wǎng)頁(yè)上的URL，在抓取網(wǎng)頁(yè)的過(guò)程中，不斷從當(dāng)前網(wǎng)頁(yè)中提取新的URL，并將其放入隊(duì)列中，直到滿(mǎn)足系統(tǒng)的某個(gè)停止條件。聚焦爬蟲(chóng)的工作流程比較復(fù)雜，需要根據(jù)一定的網(wǎng)頁(yè)分析算法過(guò)濾掉不相關(guān)的鏈接，保留有用的鏈接，放到等待抓取的URL隊(duì)列中。
然后，它會(huì)按照一定的搜索策略從隊(duì)列中選擇下一頁(yè)的URL，重復(fù)上述過(guò)程，直到達(dá)到系統(tǒng)的某個(gè)條件。此外，爬蟲(chóng)抓取的所有網(wǎng)頁(yè)都會(huì)被系統(tǒng)存儲(chǔ)，進(jìn)行一定程度的分析和過(guò)濾，并為后續(xù)的查詢(xún)和檢索建立索引。因此，一個(gè)完整的爬蟲(chóng)一般包括以下三個(gè)模塊:
一、網(wǎng)絡(luò)請(qǐng)求模塊
二、爬行過(guò)程控制模塊
三.內(nèi)容分析和提取模塊
網(wǎng)絡(luò)請(qǐng)求
我們常說(shuō)爬蟲(chóng)其實(shí)就是一堆http(s)請(qǐng)求，找到要抓取的鏈接，然后發(fā)送請(qǐng)求包得到返回包。當(dāng)然，h5中也有基于流的HTTP?；罨騱ebsocket協(xié)議。
過(guò)程控制
所謂爬行過(guò)程就是爬什么樣的規(guī)則順序。當(dāng)爬行的任務(wù)比較小時(shí)，爬行的過(guò)程控制不會(huì)太麻煩。許多爬行框架已經(jīng)為您做了一些事情，比如scrapy，您只需要自己實(shí)現(xiàn)解析代碼。
內(nèi)容分析和提取
請(qǐng)求頭的Accept-Encoding字段表示瀏覽器告訴服務(wù)器它支持的壓縮算法(目前gzip是最流行的)。如果服務(wù)器開(kāi)啟壓縮，響應(yīng)體返回時(shí)會(huì)被壓縮，爬蟲(chóng)需要自己解壓。
精靈ip代理平臺(tái)提供HTTP代理IP和https代理IP，非常適合爬蟲(chóng)工作，高效、穩(wěn)定、安全、易操作，是爬蟲(chóng)工作者首選的專(zhuān)業(yè)優(yōu)質(zhì)代理IP服務(wù)提供商。
上一篇：了解看看各種ip的含義
下一篇：代理IP連上速度慢是什么原因？
