女人被爽到呻吟gif动态图视看,久久久久夜色精品国产明星,蜜臀国产在线视频,免费人妻精品一区二区三区,久久人人爽人人爽人人av东京热

現(xiàn)在很多項目都是從前端分離出來的，這樣會讓數(shù)據(jù)加載不同步的問題更加突出。出現(xiàn)這樣的問題，沒必要恐慌。一般來說遇到爬蟲數(shù)據(jù)異步加載怎么辦？有兩種解決方案。
 

 

精靈ip代理

首先，內(nèi)置瀏覽器內(nèi)核

 

內(nèi)置瀏覽器就是在抓取的程序中啟動一個瀏覽器內(nèi)核，這樣我們就可以得到js渲染的頁面，這樣我們就跟收集靜態(tài)頁面一樣。

 

常用的工具有三種:Selenium、HtmlUnit和PhantomJs。

 

這些工具都可以幫助我們解決數(shù)據(jù)異步加載的問題，但是它們都有缺點，就是效率低，不穩(wěn)定。

 

二、逆向分析法

 

什么是逆向分析法？我們js渲染頁面的數(shù)據(jù)是通過Ajax從后端獲取的。我們只需要找到對應的Ajax請求連接，就可以獲取我們需要的數(shù)據(jù)。逆向分析法的優(yōu)勢在于:第一，得到的數(shù)據(jù)都是json格式的，方便分析；第二，界面的變化概率比頁面小。

 

同樣，它也有兩個缺點。你需要對Ajax有耐心和熟練，因為你需要在大量的請求中找到你想要的；但是面對JavaScript渲染的頁面，逆向分析方法只能束手無策。

 

精靈ip代理

這是異步數(shù)據(jù)加載的兩種解決方案。你要根據(jù)具體情況來選擇。對于一些用JavaScript片段渲染的頁面，內(nèi)置瀏覽器更可靠。對于其他情況，逆向分析的方法更好，因為它的性能和穩(wěn)定性比內(nèi)置的瀏覽器內(nèi)核更可靠。