溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
編輯距離
編輯距離，又稱為Levenshtein距離，是用于計算一個字符串轉換為另一個字符串時，插入、刪除和替換的次數。例如，將'dad'轉換為'bad'需要一次替換操作，編輯距離為1。
nltk.metrics.distance.edit_distance函數實現了編輯距離。
from nltk.metrics.distance import edit_distance str1 = 'bad' str2 = 'dad' print(edit_distance(str1, str2))
N元語法相似度
n元語法只是簡單地表示文本中n個標記的所有可能的連續序列。n元語法具體是這樣的
import nltk
#這里展示2元語法
text1 = 'Chief Executive Officer'
#bigram考慮匹配開頭和結束，所有使用pad_right和pad_left
ceo_bigrams = nltk.bigrams(text1.split(),pad_right=True,pad_left=True)
print(list(ceo_bigrams))
[(None, 'Chief'), ('Chief', 'Executive'),
('Executive', 'Officer'), ('Officer', None)]
2元語法相似度計算
import nltk #這里展示2元語法 def bigram_distance(text1, text2): #bigram考慮匹配開頭和結束，所以使用pad_right和pad_left text1_bigrams = nltk.bigrams(text1.split(),pad_right=True,pad_left=True) text2_bigrams = nltk.bigrams(text2.split(), pad_right=True, pad_left=True) #交集的長度 distance = len(set(text1_bigrams).intersection(set(text2_bigrams))) return distance text1 = 'Chief Executive Officer is manager' text2 = 'Chief Technology Officer is technology manager' print(bigram_distance(text1, text2)) #相似度為3
jaccard相似性
jaccard距離度量的兩個集合的相似度，它是由 （集合1交集合2）/（結合1交結合2）計算而來的。
實現方式
from nltk.metrics.distance import jaccard_distance #這里我們以單個的字符代表文本 set1 = set(['a','b','c','d','a']) set2 = set(['a','b','e','g','a']) print(jaccard_distance(set1, set2))
0.6666666666666666
masi距離
masi距離度量是jaccard相似度的加權版本，當集合之間存在部分重疊時，通過調整得分來生成小于jaccard距離值。
from nltk.metrics.distance import jaccard_distance,masi_distance #這里我們以單個的字符代表文本 set1 = set(['a','b','c','d','a']) set2 = set(['a','b','e','g','a']) print(jaccard_distance(set1, set2)) print(masi_distance(set1, set2))
0.6666666666666666
0.22000000000000003
余弦相似度
nltk提供了余弦相似性的實現方法，比如有一個詞語空間
word_space = [w1,w2,w3,w4] text1 = 'w1 w2 w1 w4 w1' text2 = 'w1 w3 w2' #按照word_space位置，計算每個位置詞語出現的次數 text1_vector = [3,1,0,1] text2_vector = [1,1,1,0]
[3,1,0,1]意思是指w1出現了3次，w2出現了1次，w3出現0次，w4出現1次。
好了下面看代碼，計算text1與text2的余弦相似性
from nltk.cluster.util import cosine_distance text1_vector = [3,1,0,1] text2_vector = [1,1,1,0] print(cosine_distance(text1_vector,text2_vector))
0.303689376177
以上就是本文的全部內容，希望對大家的學習有所幫助，也希望大家多多支持億速云。
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
