Node.js 中怎么對文本內容進行分詞

今天就跟大家聊聊有關Node.js 中怎么對文本內容進行分詞，可能很多人都不太了解，為了讓大家更加了解，小編給大家總結了以下內容，希望大家根據這篇文章可以有所收獲。

nodejieba 的安裝和使用十分簡單：

npm install nodejieba
var nodejieba = require("nodejieba");
var result = nodejieba.cut("帝國主義要把我們的地瓜分掉");
console.log(result);
//[ '帝國主義', '要', '把', '我們', '的', '地', '瓜分', '掉' ]
result = nodejieba.cut('土地，俺老孫的金箍棒在哪里？');
console.log(result);
//[ '土地', '，', '俺', '老', '孫', '的', '金箍棒', '在', '哪里', '？' ]
result = nodejieba.cut('大圣，您的金箍棒就棒在特別配您的頭型！');
console.log(result); 
//[ '大圣','，','您','的','金箍棒','就','棒','在','特別','配','您','的','頭型','！' ]

我們可以載入自己的字典，在字典里給每個詞分別設置權重和詞性：

編輯 user.uft8
地瓜 9999 n
金箍 9999 n
棒就棒在 9999
然后通過 nodejieba.load 加載字典。

var nodejieba = require("nodejieba");
nodejieba.load({
 userDict: './user.utf8',
});
var result = nodejieba.cut("帝國主義要把我們的地瓜分掉");
console.log(result);
//[ '帝國主義', '要', '把', '我們', '的', '地瓜', '分', '掉' ]
result = nodejieba.cut('土地，俺老孫的金箍棒在哪里？');
console.log(result);
//[ '土地', '，', '俺', '老', '孫', '的', '金箍棒', '在', '哪里', '？' ]
result = nodejieba.cut('大圣，您的金箍棒就棒在特別配您的頭型！');
console.log(result); 
//[ '大圣', '，', '您', '的', '金箍', '棒就棒在', '特別', '配', '您', '的', '頭型', '！' ]

除了分詞以外，我們可以利用 nodejieba 提取關鍵詞：

const content = `

HTTP、HTTP/2與性能優化

本文的目的是通過比較告訴大家，為什么應該從HTTP遷移到HTTPS，以及為什么應該添加到HTTP/2的支持。在比較HTTP和HTTP/2之前，先看看什么是HTTP。

什么是HTTP

HTTP是在萬維網上通信的一組規則。HTTP屬于應用層協議，跑在TCP/IP層之上。用戶通過瀏覽器請求網頁時，HTTP負責處理請求并在Web服務器與客戶端之間建立連接。

有了HTTP/2，不使用雪碧圖、壓縮、拼接，也可以提升性能。然而，這不代表不應該使用這些技術。不過這已經清楚表明了我們從HTTP/1.1移動到HTTP/2的必要性。
`;

const nodejieba = require("nodejieba");
const result = nodejieba.extract(content, 20);
console.log(result);

輸出的結果類似下面這樣：

[ { word: 'HTTP', weight: 140.8704516850025 },
 { word: '請求', weight: 14.23018001394 },
 { word: '應該', weight: 14.052171126120001 },
 { word: '萬維網', weight: 12.2912397395 },
 { word: 'TCP', weight: 11.739204307083542 },
 { word: '1.1', weight: 11.739204307083542 },
 { word: 'Web', weight: 11.739204307083542 },
 { word: '雪碧圖', weight: 11.739204307083542 },
 { word: 'HTTPS', weight: 11.739204307083542 },
 { word: 'IP', weight: 11.739204307083542 },
 { word: '應用層', weight: 11.2616203224 },
 { word: '客戶端', weight: 11.1926274509 },
 { word: '瀏覽器', weight: 10.8561552143 },
 { word: '拼接', weight: 9.85762638414 },
 { word: '比較', weight: 9.5435285574 },
 { word: '網頁', weight: 9.53122979951 },
 { word: '服務器', weight: 9.41204128224 },
 { word: '使用', weight: 9.03259988558 },
 { word: '必要性', weight: 8.81927328699 },
 { word: '添加', weight: 8.0484751722 } ]

我們添加一些新的關鍵詞到字典里：

性能
HTTP/2

輸出結果如下：

[ { word: 'HTTP', weight: 105.65283876375187 },
 { word: 'HTTP/2', weight: 58.69602153541771 },
 { word: '請求', weight: 14.23018001394 },
 { word: '應該', weight: 14.052171126120001 },
 { word: '性能', weight: 12.61259281884 },
 { word: '萬維網', weight: 12.2912397395 },
 { word: 'IP', weight: 11.739204307083542 },
 { word: 'HTTPS', weight: 11.739204307083542 },
 { word: '1.1', weight: 11.739204307083542 },
 { word: 'TCP', weight: 11.739204307083542 },
 { word: 'Web', weight: 11.739204307083542 },
 { word: '雪碧圖', weight: 11.739204307083542 },
 { word: '應用層', weight: 11.2616203224 },
 { word: '客戶端', weight: 11.1926274509 },
 { word: '瀏覽器', weight: 10.8561552143 },
 { word: '拼接', weight: 9.85762638414 },
 { word: '比較', weight: 9.5435285574 },
 { word: '網頁', weight: 9.53122979951 },
 { word: '服務器', weight: 9.41204128224 },
 { word: '使用', weight: 9.03259988558 } ]

在這個基礎上，我們采用白名單的方式過濾出一些可以作為 tag 的詞：

const content = `

HTTP、HTTP/2與性能優化

本文的目的是通過比較告訴大家，為什么應該從HTTP遷移到HTTPS，以及為什么應該添加到HTTP/2的支持。在比較HTTP和HTTP/2之前，先看看什么是HTTP。

什么是HTTP

HTTP是在萬維網上通信的一組規則。HTTP屬于應用層協議，跑在TCP/IP層之上。用戶通過瀏覽器請求網頁時，HTTP負責處理請求并在Web服務器與客戶端之間建立連接。

有了HTTP/2，不使用雪碧圖、壓縮、拼接，也可以提升性能。然而，這不代表不應該使用這些技術。不過這已經清楚表明了我們從HTTP/1.1移動到HTTP/2的必要性。
`;

const nodejieba = require("nodejieba");
nodejieba.load({
 userDict: './user.utf8',
});
const result = nodejieba.extract(content, 20);
const tagList = ['HTTPS', 'HTTP', 'HTTP/2', 'Web', '瀏覽器', '性能'];
console.log(result.filter(item => tagList.indexOf(item.word) >= 0));

最后得到：

[ { word: 'HTTP', weight: 105.65283876375187 },
 { word: 'HTTP/2', weight: 58.69602153541771 },
 { word: '性能', weight: 12.61259281884 },
 { word: 'HTTPS', weight: 11.739204307083542 },
 { word: 'Web', weight: 11.739204307083542 },
 { word: '瀏覽器', weight: 10.8561552143 } ]

看完上述內容，你們對Node.js 中怎么對文本內容進行分詞有進一步的了解嗎？如果還想了解更多知識或者相關內容，請關注億速云行業資訊頻道，感謝大家的支持。