countTokens()用法和输出例子
时间: 2023-06-20 19:06:51 浏览: 63
标记Token实例
4星 · 用户满意度95%
countTokens()是Java中StringTokenizer类的一个方法,用于返回被分割后剩余的token数目。
下面是一个示例代码:
```java
import java.util.StringTokenizer;
public class TokenizerExample {
public static void main(String[] args) {
String str = "Hello, World! How are you?";
StringTokenizer tokenizer = new StringTokenizer(str, " ");
System.out.println("Total tokens: " + tokenizer.countTokens());
while (tokenizer.hasMoreTokens()) {
System.out.println(tokenizer.nextToken());
}
}
}
```
输出结果:
```
Total tokens: 5
Hello,
World!
How
are
you?
```
在这个例子中,我们首先创建了一个字符串`str`,它包含了一些单词和标点符号。然后我们创建了一个StringTokenizer对象,并用空格作为分隔符来将字符串分割成单词。调用countTokens()方法返回剩余单词的总数,然后在while循环中逐个输出单词。最后的输出结果中,我们可以看到有5个单词被分割出来。
阅读全文