您好,登錄后才能下訂單哦!
利用python爬蟲怎么對有道詞典進行爬取?針對這個問題,這篇文章詳細介紹了相對應的分析和解答,希望可以幫助更多想解決這個問題的小伙伴找到更簡單易行的方法。
材料
1.Python 3.8.4
2.電腦一臺(應該不至于有”窮苦人家“連一臺電腦都沒有吧)
3.Google瀏覽器(其他的也行,但我是用的Google)
寫程序前準備
打開Google瀏覽器,找的有道詞典的翻譯網頁(http://fanyi.youdao.com/)
打開后摁F12打開開發者模式,找Network選項卡,點擊Network選項卡,然后刷新一下網頁
然后翻譯一段文字,隨便啥都行(我用的程序員的傳統:hello world),然后點擊翻譯
在選項卡中找到以translate開頭的post文件
箭頭的地方才是真正的提交地址
記住他,寫代碼時要用
這個是提交電腦的基本信息,記住他,等會兒要用,等會兒偽裝成電腦時可以用,因為電腦會有基本信息,而如果是python的話會顯示成python3.8.4(因為我的版本是3.8.4),從而容易被服務器禁入
等會兒還要用
好,準備工作做完了,接下來開始干正事了
開始編寫爬蟲代碼
下面是我寫的代碼,具體我就不細說了
#導入urllib庫 import urllib.request import urllib.parse import json while True: #無限循環 content = input("請輸入您要翻譯的內容(輸入 !!! 退出程序): ") #設置退出條件 if content == '!!!': break url = 'http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule' #選擇要爬取的網頁,上面找過了 #加上一個帽子,減少被發現的概率(下面head列表的內容就是上面找的) head = {} head['User - Agent'] = '請替換' #偽裝計算機提交翻譯申請(下面的內容也在在上面有過,最好根據自己的進行修改) data = {} data['type'] = 'AUTO' data['i'] = content data['doctype'] = 'json' data['version'] = '2.1' data['keyfrom:'] = 'fanyi.web' data['ue'] = 'UTF-8' data['typoResult'] = 'true' data = urllib.parse.urlencode(data).encode('utf-8') response = urllib.request.urlopen(url, data) #解碼 html = response.read().decode('utf-8') paper = json.loads(html) #打印翻譯結果 print("翻譯結果: %s" % (paper['translateResult'][0][0]['tgt']))
運行結果
關于利用python爬蟲怎么對有道詞典進行爬取問題的解答就分享到這里了,希望以上內容可以對大家有一定的幫助,如果你還有很多疑惑沒有解開,可以關注億速云行業資訊頻道了解更多相關知識。
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。