在C++中，TokenStream是一個用于解析字符串的工具，它將字符串分解為一系列的token（令牌）。每個token代表一個獨立的語法單元，比如關鍵字、標識符、運算符、常量等。
TokenStream可以用于從字符串中提取特定類型的token，并以一種結構化的方式進行處理。它提供了一些方法來讀取、判斷和操作token。
以下是一些常見的TokenStream用法示例：
TokenStream ts("int a = 10;");
Token token = ts.getNextToken();
if (ts.hasMoreTokens()) {
// 處理下一個token
}
TokenType type = token.getType();
std::string value = token.getValue();
if (token.isKeyword()) {
// 處理關鍵字token
} else if (token.isIdentifier()) {
// 處理標識符token
}
通過使用TokenStream，您可以更方便地對字符串進行語法分析和處理，從而實現更復雜的功能，比如編譯器、解析器等。
