使用c语言 编写一段爬虫代码

在C语言中编写网络爬虫通常不是首选，因为它并不是设计用于高效处理网络请求的语言，而且缺乏内置库支持。然而，如果你真的需要在C语言中实现一个基础的爬虫，可以使用像libcurl这样的库，它提供了一套方便的API来进行HTTP请求。

下面是一个非常简单的例子，使用libcurl从URL获取HTML内容：

#include <stdio.h>
#include <curl/curl.h>

// 显示下载的数据
static size_t WriteCallback(void *contents, size_t size, size_t nmemb, void *userp) {
    size_t realsize = size * nmemb;
    ((char*)userp)[realsize] = '\0';
    printf("%.*s\n", (int)realsize, (char*)contents);
    return realsize;
}

int main() {
    CURL *curl;
    CURLcode res;

    // 初始化 libcurl
    curl_global_init(CURL_GLOBAL_DEFAULT);

    // 创建一个 curl 处理器
    curl = curl_easy_init();
    if(curl) {
        // 设置 URL
        curl_easy_setopt(curl, CURLOPT_URL, "http://example.com");

        // 跟踪 HTTP 状态码
        curl_easy_setopt(curl, CURLOPT_WRITEFUNCTION, WriteCallback);

        // 执行请求并捕获结果
        res = curl_easy_perform(curl);

        // 清理
        if(res != CURLE_OK)
            fprintf(stderr, "curl_easy_perform() failed: %s\n",
                    curl_easy_strerror(res));
        curl_easy_cleanup(curl);
    }

    // 结束 libcurl
    curl_global_cleanup();

    return 0;
}

请注意，这只是一个基本示例，实际的网络爬虫会更复杂，涉及解析HTML、处理cookies、设置代理等，并且在某些网站上可能违反了robots.txt协议。此外，C语言的性能不如Python的BeautifulSoup或Scrapy等工具，所以通常推荐使用这些高级语言编写爬虫。