在文本挖掘中，tokenizer的作用是將原始文本中的文本內容轉換成可以被計算機處理的形式，通常是將文本拆分成單詞或者短語的序列。通過tokenizer，可以將文本轉換成可以被機器學習算法或者其他文本挖掘技術處理的數據格式，從而進行下一步的分析和挖掘工作。tokenizer可以幫助提取文本中的重要信息、特征或者模式，從而支持文本分類、信息檢索、情感分析、實體識別等文本挖掘任務。
億速云公眾號
手機網站二維碼
Copyright ? Yisu Cloud Ltd. All Rights Reserved. 2018 版權所有
廣州億速云計算有限公司粵ICP備17096448號-1 粵公網安備 44010402001142號增值電信業務經營許可證編號：B1-20181529
