溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
這篇文章主要介紹了如何使用python實現字符串加密生成唯一固定長度字符串，具有一定借鑒價值，感興趣的朋友可以參考下，希望大家閱讀完這篇文章之后大有收獲，下面讓小編帶著大家一起了解一下。
背景
有時候爬蟲爬過的url需要進行指紋核對，比如Scrapy就是進行指紋核對，如果是指紋重復則不再爬取。當然在入庫的時候我還是需要做一次核對，否則如果爬蟲有漏掉，進入數據庫就不合適了。
思路
根據Scrapy的指紋生成方式，這次的指紋生成方式也是用hash的MD5對目標URL進行加密，生成固定長度的字符串，然后在數據庫里面將字段設置成unique，這樣的話在保證url固定長度的情況下還能夠保證入庫后的唯一性，進最大努力避免出現重復的數據。
指紋生成代碼
新建一個文件，然后在里面編寫指紋生成的方法，在使用的時候from import進來，調用方法即可。代碼為：
import hashlib
def get_md5(url):
"""
由于hash不處理unicode編碼的字符串（python3默認字符串是unicode）
所以這里判斷是否字符串，如果是則進行轉碼
初始化md5、將url進行加密、然后返回加密字串
"""
if isinstance(url, str):
url = url.encode("utf-8")
md = hashlib.md5()
md.update(url)
return md.hexdigest()為了驗證代碼的可用性，再加上代碼：
if __name__ == "__main__": urls = "http://www.baidus.com" print(get_md5(urls))
在本地運行無誤，再把下面這串刪除。等到調用的時候from import get_md5把文件和方法引入，就可以使用了
感謝你能夠認真閱讀完這篇文章，希望小編分享的“如何使用python實現字符串加密生成唯一固定長度字符串”這篇文章對大家有幫助，同時也希望大家多多支持億速云，關注億速云行業資訊頻道，更多相關知識等著你來學習!
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
