反爬蟲(chóng)ip被封的解決方案
jj
2021-12-21
如果你注意到你獲取的信息內(nèi)容與目標(biāo)網(wǎng)站屏幕上顯示的正常信息不同，換句話說(shuō)，你抓取的信息是空白的，那么你抓取的網(wǎng)站在構(gòu)建網(wǎng)頁(yè)時(shí)，很有可能是程序出了問(wèn)題。如果爬行頻率高于目標(biāo)在線平臺(tái)的限制閾值，將被禁止訪問(wèn)。一般來(lái)說(shuō)，ip是網(wǎng)站反黑客機(jī)制的基礎(chǔ)，當(dāng)我們?yōu)g覽網(wǎng)站時(shí)，我們的IP地址會(huì)被記錄下來(lái)，服務(wù)器會(huì)把你當(dāng)成爬蟲(chóng)程序，所以頻繁的抓取會(huì)使現(xiàn)有的IP地址不可用，所以我們必須想辦法改變自己設(shè)備的IP地址或者現(xiàn)有的爬蟲(chóng)程序。
因此，網(wǎng)絡(luò)爬蟲(chóng)開(kāi)發(fā)者一般需要使用兩種技術(shù)手段來(lái)處理這類(lèi)問(wèn)題。
方法一:放慢抓取速度，這樣目標(biāo)網(wǎng)站的壓力會(huì)相對(duì)減少，但如果這樣做，單位時(shí)間的抓取量會(huì)相對(duì)減少。
方法二:用精靈ip代理，攻克反爬蟲(chóng)系統(tǒng)進(jìn)行高頻抓取，需要多個(gè)穩(wěn)定的代理IP。基于ADSL撥號(hào)的普通解決方案。通常在抓取過(guò)程中禁止訪問(wèn)時(shí)，可以再次撥打ADSL獲取新的IP，這樣就可以繼續(xù)抓取。但是在多個(gè)網(wǎng)站的多線程抓取中，如果禁止某個(gè)網(wǎng)站的抓取，也會(huì)對(duì)其他網(wǎng)站的抓取造成危害，一般來(lái)說(shuō)也會(huì)減緩獲取速度。
另一種可能的解決方案也是基于ADSL撥號(hào)。不同的是需要兩個(gè)能夠ADSL撥號(hào)的智能代理，這兩個(gè)服務(wù)器在抓取過(guò)程中作為代理使用。假設(shè)有兩臺(tái)服務(wù)器A和B可以撥打ADSL。爬蟲(chóng)運(yùn)行在C服務(wù)器上，使用A作為代理訪問(wèn)外部網(wǎng)絡(luò)。如果在爬行過(guò)程中禁止訪問(wèn)，則立即將代理切換到B，然后重?fù)蹵，如果再次禁止訪問(wèn)，則切換到A作為代理，B再次重?fù)?，以此?lèi)推。推薦閱讀:獲取代理ip的方法有哪些？
在實(shí)際的爬行過(guò)程中，還有很多問(wèn)題需要根據(jù)實(shí)際情況進(jìn)行分析和解決。在很大程度上，爬蟲(chóng)爬行是一項(xiàng)非常麻煩和困難的工作，因此現(xiàn)在已經(jīng)開(kāi)發(fā)了許多軟件來(lái)解決爬蟲(chóng)程序的各種問(wèn)題。
