溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
這篇文章給大家分享的是有關python獲取js動態加載數據的方法的內容。小編覺得挺實用的，因此分享給大家做個參考。一起跟隨小編過來看看吧。
我們在做網頁抓取的時候，一般來說使用urllib和urllib2就能滿足大部分需求。
但是有時候我們遇見那種使用js動態加載的網頁。就會發現urllib只能抓出一個部分內容空白的網頁。就像下面百度圖片的結果頁：
審查元素之后，發現百度圖片中，顯示圖片的div為：pullimages
這個div里面的內容是動態加載的。而使用urllib&urllib2是抓取不到的。
要抓取動態加載的元素，首先考慮使用selenium來調用瀏覽器進行抓取。
而我們運行的環境是linux，最理想的方法是在無界面情況下進行抓取，所以使用selenium+phantomjs來進行無界面抓取。
phantomjs是什么呢？它是一個基于webkit內核的無頭瀏覽器，即沒有UI界面，即它就是一個瀏覽器。
selenium和phantomjs的安裝配置可以google，這里就略過不談了。
代碼如下：
from selenium import webdriver
driver = webdriver.PhantomJS(executable_path='/bin/phantomjs/bin/phantomjs')
#如果不方便配置環境變量。就使用phantomjs的絕對路徑也可以
driver.get('http://image.baidu.com/i?ie=utf-8&word=%E5%91%A8%E6%9D%B0%E4%BC%A6')
#抓取了百度圖片，query：周杰倫
driver.page_source
#這就是返回的頁面內容了，與urllib2.urlopen().read()的效果是類似的，但比urllib2強在能抓取到動態渲染后的內容。
driver.quit()到這里。就抓取動態頁面成功了。
感謝各位的閱讀！關于python獲取js動態加載數據的方法就分享到這里了，希望以上內容可以對大家有一定的幫助，讓大家可以學到更多知識。如果覺得文章不錯，可以把它分享出去讓更多的人看到吧！
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
