python+opencv+selenium如何實現自動化登錄郵箱

這篇文章主要為大家展示了“python+opencv+selenium如何實現自動化登錄郵箱”，內容簡而易懂，條理清晰，希望能夠幫助大家解決疑惑，下面讓小編帶領大家一起研究并學習一下“python+opencv+selenium如何實現自動化登錄郵箱”這篇文章吧。

如下：

??

在我們做自動化登錄時，總會遇到各種奇奇怪怪的驗證碼，滑塊驗證碼就是其中最常見的一種。若我們的程序自動輸入賬號密碼之后，還需要我們人工去滑動驗證碼那還能稱得上是自動化嗎？
那么先給大家說一下我的‘解題步驟'。

1.使用selenium打開郵箱首頁。
2.定位到賬號密碼框，鍵入賬號密碼。
3.獲取驗證圖片，使用opencv處理返回滑塊應拖動的距離。
4.創建鼠標事件，模擬拖動滑塊完成驗證。

??需要解決的問題：

1.頁面元素的定位。
2.文本框和驗證碼的frame嵌套。
3.opencv處理驗證圖片缺口圖像匹配并返回距離。
4.webdriver在網頁中使用xpath時如何定位自身元素。
5.原始圖片尺寸與在網頁中的實際尺寸同比例縮放(距離的縮放)。

??OK，思路清晰上代碼！！！

??源代碼：

#滑稽研究所出品
from selenium.webdriver.common.keys import Keys
from selenium.webdriver import ActionChains
from selenium import webdriver

import requests
import time
import cv2

#下載圖片
def download_img(url,filename):
    r = requests.get(url)
    with open( filename + '.png', 'wb') as f:
        # 對于圖片類型的通過r.content方式訪問響應內容，將響應內容寫入yanzheng.png中
        f.write(r.content)
        print(filename + '下載完成')

def get_image():
    #為什么這里要定義全局變量？因為driver在函數內，函數運行完畢就會關閉，
    #相應的網頁也會被關閉，這就是網上很多問為什么網頁會自動關閉的原因。
    global driver
    driver= webdriver.Chrome() #獲取瀏覽器對象
    driver.get("https://mail.qq.com/") #加載百度首頁
    #窗口最大化操作，如果窗口過小，會導致后續拖動滑塊時出現視野丟失的問題
    driver.maximize_window()
    time.sleep(2) #睡眠兩秒

    driver.find_element_by_xpath('/html/body/div/div[2]/div/div[1]/div/div[1]/div[2]').click()

    time.sleep(1)

    driver.switch_to.frame('login_frame')
    # driver.find_element_by_xpath('//*[@id="switcher_plogin"]').click()

    #輸入賬號密碼
    input=driver.find_element_by_xpath('//*[@id="u"]')#定位QQ賬號框
    time.sleep(1)
    input.send_keys("zhanghao") #搜索框輸入內容

    input=driver.find_element_by_xpath('//*[@id="p"]')#定位QQ密碼框
    input.send_keys("你的密碼") #搜索框輸入內容
    print('賬號密碼輸入完成。')
    #這里停頓一下，不然不會顯示滑動驗證，應該是檢測自動化工具的手段。（反爬）
    time.sleep(1)
    driver.find_element_by_xpath('//*[@id="login_button"]').click()

    #注意我們這里又需要跳到驗證碼的子框（又一個嵌套）
    time.sleep(1)
    driver.switch_to.frame('tcaptcha_iframe')
    #webdriver的定位方法和瀏覽器xpath不一樣，不能直接定位到標簽的屬性.
    #需要首先定位到webelement，之后get到屬性!!!!!!!
    bk = driver.find_element_by_xpath('//*[@id="slideBg"]').get_attribute('src')
    print(bk)
    #獲取背景和滑塊地址，下載到本地。
    key = driver.find_element_by_xpath('//*[@id="slideBlock"]').get_attribute('src')
    print(bk)

    download_img(bk,filename= 'bk')
    download_img(key,filename= 'key')

    #鎖定滑塊
    slider = driver.find_element_by_xpath('//*[@id="tcaptcha_drag_thumb"]')
    #獲取應滑動距離
    dis = get_distance()
    print(dis)

    #滑塊部分，沒有問題，已完成。
    newact =  ActionChains(driver)
    newact.click_and_hold(slider).perform()

    newact.move_by_offset(xoffset=dis-20,yoffset=0).perform()
    time.sleep(0.5)
    newact.release().perform()

#處理得到滑塊應移動的距離。
def get_distance():
    path = 'bk.png'
    img = cv2.imread(path)

    path = 'key.png'
    img2 = cv2.imread(path)

    imgContour = img.copy()
    print('img.shape:', img.shape)

    imgGray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
    imgBlur = cv2.GaussianBlur(imgGray, (3, 3), 1)
    imgCanny = cv2.Canny(imgBlur, 400, 500)

    imgGray2 = cv2.cvtColor(img2, cv2.COLOR_BGR2GRAY)
    imgBlur2 = cv2.GaussianBlur(imgGray2, (3, 3), 1)
    imgCanny2 = cv2.Canny(imgBlur2, 400, 500)

    cv2.imshow("O", imgCanny)

    # 匹配拼圖
    result = cv2.matchTemplate(imgCanny, imgCanny2, cv2.TM_CCOEFF_NORMED)

    # 歸一化
    cv2.normalize(result, result, 0, 1, cv2.NORM_MINMAX, -1)

    min_val, max_val, min_loc, max_loc = cv2.minMaxLoc(result)

    print('min_loc:', min_loc)
    print('max_loc:', max_loc)

    # 匹配后結果畫圈
    cv2.rectangle(imgContour, max_loc, (max_loc[0] + 135, max_loc[1] + 135), (0, 0, 255), 2)

    # 原圖為680*390 在瀏覽器resize為280*161，這里我們只用到寬。所以需要進行同比例縮放。
    res = min_loc[0] / (680 / 280)

    cv2.imshow("Canny Image", imgContour)
    #這里不可以用0，因為圖片窗口會一直顯示，程序卡住無法return出距離給滑塊功能使用。
    cv2.waitKey(100)
    print('應滑動距離獲取成功。')
    return res

if __name__ == '__main__':
    get_image()

??下面是運行結果，兩種不同的驗證碼背景圖都可以正確識別出來。紅框為代碼識別缺口之后標記的紅框

??可以看到在跳出驗證碼之后，我們的程序正確的識別到了缺口的位置，并且正確的返回了縮放后的距離。模擬的鼠標事件完美的把滑塊拖動到了缺口的位置。提示我們驗證成功，不過我們并沒有給代碼正確的賬號和密碼因此會提醒我們賬號或密碼錯誤。大家只需填入正確的賬號密碼即可成功登入。非常的好用~
??需要注意一個問題，就是要保持網絡的穩定，不要有太大波動。長時間加載不出來頁面元素，就會出現獲取不到頁面元素的報錯。

以上是“python+opencv+selenium如何實現自動化登錄郵箱”這篇文章的所有內容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內容對大家有所幫助，如果還想學習更多知識，歡迎關注億速云行業資訊頻道！