如何使用strtok分割字符串考虑其余标点符号

`strtok`函数是C语言中用于分割字符串的标准库函数，但它默认只按照空格、制表符等空白字符进行分隔，而不包括其他标点符号。如果你想保留并处理标点符号，你需要自定义处理逻辑。

下面是一个简单的例子，展示了如何使用`strtok`配合`isspace()`判断是否为标点符号：

#include <stdio.h>
#include <string.h>

// 自定义分割函数，接受原始字符串和已经指向当前部分的指针
char* custom_tokenize(char* str, char** token) {
    char* next = strtok(str, " ,.;:\"'-"); // 分割符可以包含你想保留的标点符号

    if (next == NULL) { // 如果到达字符串结束，返回NULL
        *token = NULL;
        return NULL;
    }

    // 检查下一个字符是否仍为标点，如果不是，则认为是一个完整的词
    while (*next != '\0') {
        if (!isspace(*next)) {
            *token = next;
            break; // 结束循环，保存结果
        }
        next++; // 如果还是标点，继续检查下一个字符
    }

    return next; // 返回下一个待处理的部分
}

int main() {
    char str[] = "Hello, world! This is a test string.";
    char* token = NULL;

    while ((token = custom_tokenize(str, &token))) {
        printf("%s\n", token);
    }

    return 0;
}

在这个示例中，`custom_tokenize`函数会跳过标点符号直到找到非空格字符，然后将该位置作为词的开始。注意，`strtok`不会改变原始字符串，而是返回一个新的内存区域，所以在每次迭代后需要手动更新`token`指向新的部分。