python+opencv+selenium自動化登錄郵箱并實現滑動驗證功能

這篇文章主要介紹“python+opencv+selenium自動化登錄郵箱并實現滑動驗證功能”的相關知識，小編通過實際案例向大家展示操作過程，操作方法簡單快捷，實用性強，希望這篇“python+opencv+selenium自動化登錄郵箱并實現滑動驗證功能”文章能幫助大家解決問題。

在我們做自動化登錄時，總會遇到各種奇奇怪怪的驗證碼，滑塊驗證碼就是其中最常見的一種。若我們的程序自動輸入賬號密碼之后，還需要我們人工去滑動驗證碼那還能稱得上是自動化嗎？
那么先給大家說一下我的‘解題步驟"。

1.使用selenium打開郵箱首頁。
2.定位到賬號密碼框，鍵入賬號密碼。
3.獲取驗證圖片，使用opencv處理返回滑塊應拖動的距離。
4.創建鼠標事件，模擬拖動滑塊完成驗證。

??需要解決的問題：

1.頁面元素的定位。
2.文本框和驗證碼的frame嵌套。
3.opencv處理驗證圖片缺口圖像匹配并返回距離。
4.webdriver在網頁中使用xpath時如何定位自身元素。
5.原始圖片尺寸與在網頁中的實際尺寸同比例縮放(距離的縮放)。

??源代碼：

#滑稽研究所出品
from selenium.webdriver.common.keys import Keys
from selenium.webdriver import ActionChains
from selenium import webdriver

import requests
import time
import cv2

#下載圖片
def download_img(url,filename):
    r = requests.get(url)
    with open( filename + ".png", "wb") as f:
        # 對于圖片類型的通過r.content方式訪問響應內容，將響應內容寫入yanzheng.png中
        f.write(r.content)
        print(filename + "下載完成")

def get_image():
    #為什么這里要定義全局變量？因為driver在函數內，函數運行完畢就會關閉，
    #相應的網頁也會被關閉，這就是網上很多問為什么網頁會自動關閉的原因。
    global driver
    driver= webdriver.Chrome() #獲取瀏覽器對象
    driver.get("https://mail.qq.com/") #加載百度首頁
    #窗口最大化操作，如果窗口過小，會導致后續拖動滑塊時出現視野丟失的問題
    driver.maximize_window()
    time.sleep(2) #睡眠兩秒

    driver.find_element_by_xpath("/html/body/div/div[2]/div/div[1]/div/div[1]/div[2]").click()

    time.sleep(1)

    driver.switch_to.frame("login_frame")
    # driver.find_element_by_xpath("//*[@id="switcher_plogin"]").click()

    #輸入賬號密碼
    input=driver.find_element_by_xpath("//*[@id="u"]")#定位QQ賬號框
    time.sleep(1)
    input.send_keys("zhanghao") #搜索框輸入內容

    input=driver.find_element_by_xpath("//*[@id="p"]")#定位QQ密碼框
    input.send_keys("你的密碼") #搜索框輸入內容
    print("賬號密碼輸入完成。")
    #這里停頓一下，不然不會顯示滑動驗證，應該是檢測自動化工具的手段。（反爬）
    time.sleep(1)
    driver.find_element_by_xpath("//*[@id="login_button"]").click()

    #注意我們這里又需要跳到驗證碼的子框（又一個嵌套）
    time.sleep(1)
    driver.switch_to.frame("tcaptcha_iframe")
    #webdriver的定位方法和瀏覽器xpath不一樣，不能直接定位到標簽的屬性.
    #需要首先定位到webelement，之后get到屬性!!!!!!!
    bk = driver.find_element_by_xpath("//*[@id="slideBg"]").get_attribute("src")
    print(bk)
    #獲取背景和滑塊地址，下載到本地。
    key = driver.find_element_by_xpath("//*[@id="slideBlock"]").get_attribute("src")
    print(bk)

    download_img(bk,filename= "bk")
    download_img(key,filename= "key")

    #鎖定滑塊
    slider = driver.find_element_by_xpath("//*[@id="tcaptcha_drag_thumb"]")
    #獲取應滑動距離
    dis = get_distance()
    print(dis)

    #滑塊部分，沒有問題，已完成。
    newact =  ActionChains(driver)
    newact.click_and_hold(slider).perform()

    newact.move_by_offset(xoffset=dis-20,yoffset=0).perform()
    time.sleep(0.5)
    newact.release().perform()

#處理得到滑塊應移動的距離。
def get_distance():
    path = "bk.png"
    img = cv2.imread(path)

    path = "key.png"
    img2 = cv2.imread(path)

    imgContour = img.copy()
    print("img.shape:", img.shape)

    imgGray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
    imgBlur = cv2.GaussianBlur(imgGray, (3, 3), 1)
    imgCanny = cv2.Canny(imgBlur, 400, 500)

    imgGray2 = cv2.cvtColor(img2, cv2.COLOR_BGR2GRAY)
    imgBlur2 = cv2.GaussianBlur(imgGray2, (3, 3), 1)
    imgCanny2 = cv2.Canny(imgBlur2, 400, 500)

    cv2.imshow("O", imgCanny)

    # 匹配拼圖
    result = cv2.matchTemplate(imgCanny, imgCanny2, cv2.TM_CCOEFF_NORMED)

    # 歸一化
    cv2.normalize(result, result, 0, 1, cv2.NORM_MINMAX, -1)

    min_val, max_val, min_loc, max_loc = cv2.minMaxLoc(result)

    print("min_loc:", min_loc)
    print("max_loc:", max_loc)

    # 匹配后結果畫圈
    cv2.rectangle(imgContour, max_loc, (max_loc[0] + 135, max_loc[1] + 135), (0, 0, 255), 2)

    # 原圖為680*390 在瀏覽器resize為280*161，這里我們只用到寬。所以需要進行同比例縮放。
    res = min_loc[0] / (680 / 280)

    cv2.imshow("Canny Image", imgContour)
    #這里不可以用0，因為圖片窗口會一直顯示，程序卡住無法return出距離給滑塊功能使用。
    cv2.waitKey(100)
    print("應滑動距離獲取成功。")
    return res

if __name__ == "__main__":
    get_image()

??下面是運行結果，兩種不同的驗證碼背景圖都可以正確識別出來。紅框為代碼識別缺口之后標記的紅框

關于“python+opencv+selenium自動化登錄郵箱并實現滑動驗證功能”的內容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業相關的知識，可以關注億速云行業資訊頻道，小編每天都會為大家更新不同的知識點。