您好,登錄后才能下訂單哦!
這篇文章主要介紹用Python實現自動簽到的方法,文中示例代碼介紹的非常詳細,具有一定的參考價值,感興趣的小伙伴們一定要看完!
用爬蟲來實現自動簽到算是爬蟲里一種比較簡單的應用,但不妨礙它很實用。
有哪些應用場景
自動簽到的應用場景非常多,比如貼吧簽到、論壇簽到、網站打卡,甚至于我接下來會使用到的應用場景:健身房打卡。
由于疫情影響,我平常去的那家健身房停業了近3個月,于是推出了一個算是比較苛刻的補償措施或者說是活動,連續在網站打卡4個月可以額外贈送4個月時長。
也算是過濾一下平常就不怎么去健身的人吧,但是對大部分經常去的人就很不友好,本來就忙還得天天惦記著給他打卡。作為一只程序猿能讓這點小事難住了?
什么是selenium
selenium 是一個用于Web應用程序測試的工具。Selenium測試直接運行在瀏覽器中,就像真正的用戶在操作一樣。
支持的瀏覽器包括IE(7, 8, 9, 10, 11),Mozilla Firefox,Safari,Google Chrome,Opera等。selenium 是一套完整的web應用程序測試系統,包含了測試的錄制(selenium IDE),編寫及運行(Selenium Remote Control)和測試的并行處理(Selenium Grid)。
selenium可以模擬真實瀏覽器,自動化測試工具,支持多種瀏覽器,爬蟲中主要用來解決JavaScript渲染問題
簡單來說,selenium是一個可以讓你用代碼來模擬操作瀏覽器的工具。先附上一段代碼體驗一下
from selenium import webdriver#導入庫 browser = webdriver.Chrome()#聲明瀏覽器 url = 'https:www.baidu.com' browser.get(url)#打開瀏覽器預設網址 print(browser.page_source)#打印網頁源代碼 browser.close()#關閉瀏覽器
上述代碼運行后,會自動打開Chrome瀏覽器,并登陸百度打印百度首頁的源代碼,然后關閉瀏覽器。是不是簡單明了。
安裝也非常簡單,跟安裝其他Python庫一樣
pip install selenium
網頁分析
寫爬蟲避不開的一步就是分析頁面,先附上要爬的網頁鏈接
這是一個手機端的web頁面,并沒有做針對電腦端的優化,這也是我首先會選擇用selenium實現的其中一個原因。
1、首先就是網頁登錄
兩個輸入框加一個按鈕總共三行代碼就能搞定
# 這里是找到輸入框,發送要輸入的用戶名和密碼,模擬登陸 browser.find_element_by_xpath('//*[@id="login_box"]/ul/li[1]/div/input').send_keys(username) browser.find_element_by_xpath('//*[@id="login_box"]/ul/li[2]/div/input').send_keys(password) # 在輸入用戶名和密碼之后,點擊登陸按鈕 browser.find_element_by_xpath('//*[@id="login_box"]/div[2]/button[1]').click()
我用的是xpath的方式定位頁面元素,除此之外selenium支持很多種方式定位元素,比如
browser.find_element_by_class_name() browser.find_element_by_css_selector() browser.find_element_by_id() browser.find_element_by_name()
但不得不說,xpath+Chrome的組合實在是太香了。
再之后的操作就沒有什么難度了,無非是繼續選擇元素,點擊,跳轉,點擊。需要注意的一點就是要合理的運用selenium的等待來使網頁的點擊和跳轉之間更加平滑。
selenium的三種等待方式
1、強制等待
第一種是最簡單也是最粗暴的方式——強制等待。time.sleep(2) 不管瀏覽器有沒有加載完,都要等3秒。
剛開始可以先用這種方式讓程序先跑起來,之后再優化。
2、隱性等待
第二種方式叫隱性等待,implicitly_wait(xx)
隱形等待是設置了一個最長等待時間,如果在規定時間內網頁加載完成,則執行下一步,否則一直等到時間截止,然后執行下一步。
注意這里有一個弊端,那就是程序會一直等待整個頁面加載完成,也就是一般情況下你看到瀏覽器標簽欄那個小圈不再轉,
才會執行下一步,但有時候頁面想要的元素早就在加載完成了,
但是因為個別js之類的東西特別慢,我仍得等到頁面全部完成才能執行下一步,我想等我要的元素出來之后就下一步怎么辦?有辦法,這就要看selenium提供的另一種等待方式——顯性等待了。
3、顯性等待
第三種辦法就是顯性等待,WebDriverWait,配合該類的until()和until_not()方法,
就能夠根據判斷條件而進行靈活地等待了。它主要的意思就是:程序每隔xx秒看一眼,如果條件成立了,則執行下一步,否則繼續等待,直到超過設置的最長時間,然后拋出TimeoutException。
具體應用到代碼中如下:
from selenium.webdriver.support import expected_conditions as EC locator = (By.XPATH, '//*[@id="login_box"]/ul/li[1]/div/input') WebDriverWait(browser, 3, 0.3).until(EC.presence_of_element_located(locator))
WebDriverWait類長這樣:
class WebDriverWait(object): def __init__(self, driver, timeout, poll_frequency=POLL_FREQUENCY, ignored_exceptions=None): """Constructor, takes a WebDriver instance and timeout in seconds. :Args: - driver - Instance of WebDriver (Ie, Firefox, Chrome or Remote) - timeout - Number of seconds before timing out - poll_frequency - sleep interval between calls By default, it is 0.5 second. - ignored_exceptions - iterable structure of exception classes ignored during calls. By default, it contains NoSuchElementException only. Example: from selenium.webdriver.support.ui import WebDriverWait \n element = WebDriverWait(driver, 10).until(lambda x: x.find_element_by_id("someId")) \n is_disappeared = WebDriverWait(driver, 30, 1, (ElementNotVisibleException)).\ \n until_not(lambda x: x.find_element_by_id("someId").is_displayed()) """
until
method: 在等待期間,每隔一段時間調用這個傳入的方法,直到返回值不是False
message: 如果超時,拋出TimeoutException,將message傳入異常
until_not
與until相反,until是當某元素出現或什么條件成立則繼續執行,
until_not是當某元素消失或什么條件不成立則繼續執行,參數也相同,不再贅述。
最終實現
知道了上面那些,就可以把我們的代碼優化一下,用顯性等待替換掉time模塊。最終代碼如下:
# username = "xxxxxx" # password = "xxxxxx" # 模擬瀏覽器打開網站 def AutoSign(username, password): chrome_options = Options() # 使用無界面瀏覽器 chrome_options.add_argument('--headless') browser = webdriver.Chrome(options=chrome_options) browser.get(url) locator = (By.XPATH, '//*[@id="login_box"]/ul/li[1]/div/input') # 延時2秒,以便網頁加載所有元素,避免之后找不到對應的元素 # time.sleep(2) WebDriverWait(browser, 3, 0.3).until(EC.presence_of_element_located(locator)) # 這里是找到輸入框,發送要輸入的用戶名和密碼,模擬登陸 browser.find_element_by_xpath('//*[@id="login_box"]/ul/li[1]/div/input').send_keys(username) browser.find_element_by_xpath('//*[@id="login_box"]/ul/li[2]/div/input').send_keys(password) # 在輸入用戶名和密碼之后,點擊登陸按鈕 browser.find_element_by_xpath('//*[@id="login_box"]/div[2]/button[1]').click() WebDriverWait(browser, 3, 0.3).until(EC.visibility_of_element_located((By.ID, 'name-a'))) time.sleep(0.5) browser.execute_script("window.scrollTo(0,1000);") # 點擊登陸后的頁面中的簽到,跳轉到簽到頁面 browser.find_element_by_xpath('//*[@id="member"]/div[6]/div/div[2]/div[1]/div/div/h4').click() # time.sleep(1) # browser.execute_script("window.scrollTo(0,1000);") # time.sleep(1) browser.find_element_by_xpath('//*[@id="member"]/div[6]/div/div[2]/div[2]/div/div/a[1]/div').click() # time.sleep(2) WebDriverWait(browser, 2, 0.3).until( EC.presence_of_element_located((By.XPATH, '//*[@id="sign"]/div[3]/div'))) # 點擊簽到,實現功能 browser.find_element_by_xpath('//*[@id="sign"]/div[3]/div').click() time.sleep(0.5) # 這個print其實沒什么用,如果真的要測試腳本是否運行成功,可以用try來拋出異常 print("簽到成功") # 腳本運行成功,退出瀏覽器 browser.quit()
以上是用Python實現自動簽到的方法的所有內容,感謝各位的閱讀!希望分享的內容對大家有幫助,更多相關知識,歡迎關注億速云行業資訊頻道!
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。