C语言实现 UTF8转Unicode

UTF-8 是一种可变长度的编码方式，一个字符可能由 1 到 4 个字节组成，而 Unicode 是一种字符集，它规定了每个字符对应的码点，其中大部分字符使用 2 个字节表示，而一些罕见字符使用 4 个字节表示。

UTF-8 转 Unicode 的过程就是将 UTF-8 编码的字符转换为它所对应的 Unicode 码点。下面是一个简单的 C 语言函数，用于将 UTF-8 字符串转换为 Unicode 码点数组：

#include <stdio.h>
#include <stdlib.h>
#include <string.h>

int utf8_to_unicode(const char *utf8_str, int *unicode_arr, int max_len) {
    int i = 0, j = 0, len = strlen(utf8_str);
    while (i < len && j < max_len) {
        unsigned char c = utf8_str[i++];
        if (c < 0x80) {
            // 1 byte character
            unicode_arr[j++] = c;
        } else if (c < 0xE0) {
            // 2 byte character
            unsigned char c2 = utf8_str[i++];
            unicode_arr[j++] = ((c & 0x1F) << 6) | (c2 & 0x3F);
        } else if (c < 0xF0) {
            // 3 byte character
            unsigned char c2 = utf8_str[i++];
            unsigned char c3 = utf8_str[i++];
            unicode_arr[j++] = ((c & 0x0F) << 12) | ((c2 & 0x3F) << 6) | (c3 & 0x3F);
        } else {
            // 4 byte character
            unsigned char c2 = utf8_str[i++];
            unsigned char c3 = utf8_str[i++];
            unsigned char c4 = utf8_str[i++];
            unicode_arr[j++] = ((c & 0x07) << 18) | ((c2 & 0x3F) << 12) | ((c3 & 0x3F) << 6) | (c4 & 0x3F);
        }
    }
    return j;
}

这个函数接受一个 UTF-8 编码的字符串，一个长度为 max_len 的整数数组，以及数组的最大长度。它会将 UTF-8 字符串转换为对应的 Unicode 码点，并将结果存储在整数数组中，返回值为转换后的码点数量。

下面是一个使用示例：

int main() {
    const char *utf8_str = "\xE6\x88\x91\xE7\x9A\x84\xE4\xB8\xAD\xE6\x96\x87\xE5\x90\x8D\xE5\xAD\x97\xE6\x98\xAF\xE5\x8D\xA1\xE7\x89\x8C\xE5\x85\xB1\xE4\xBA\xAB";
    int unicode_arr[100];
    int num_unicode = utf8_to_unicode(utf8_str, unicode_arr, 100);
    for (int i = 0; i < num_unicode; i++) {
        printf("%04X ", unicode_arr[i]);
    }
    printf("\n");
    return 0;
}

这个示例输入一个 UTF-8 编码的字符串，并输出它所对应的 Unicode 码点。输出结果为：

6211 7684 4E2D 6587 540D 5B57 662F 5361 724C 5171 4EAB

可以看到，这个函数成功地将 UTF-8 编码的中文字符串转换为了对应的 Unicode 码点。