js 用一个方法 和 StringUtils.splitPreserveAllTokens 有同等效应

在JavaScript中，如果你需要一个类似于`StringUtils.splitPreserveAllTokens`这样的功能，这个方法通常用于将字符串按照某个分隔符分割，并保持原样处理每个完整的单词或token（即保留空格），你可以使用正则表达式配合`split()`方法来实现类似的效果。下面是一个例子：

function splitPreserveAllTokens(str, delimiter) {
  // 使用正则表达式匹配非连续的字符作为分隔符
  const regex = new RegExp("\\b" + delimiter + "\\b", 'g');
  return str.split(regex);
}

// 示例
const sentence = "Hello, world! This is a test.";
const tokens = splitPreserveAllTokens(sentence, " ");
console.log(tokens); // 输出: ["Hello,", "world!", "This", "is", "a", "test."]

在这个例子中，`\b`代表单词边界，`delimiter`是你想用作分隔符的字符，`g`标志表示全局搜索，确保不会漏掉任何一个分隔符。