c语言写一个爬虫程序

编写一个简单的C语言爬虫程序通常涉及到网络请求、数据解析和文件操作等基本步骤。由于C语言本身并不内置支持HTTP请求库，通常我们会使用第三方库如libcurl或cURL接口来进行网络通信。这里是一个基础的示例，它使用cURL库获取HTML内容：

#include <stdio.h>
#include <curl/curl.h>

// 定义函数来处理回调，接收服务器返回的数据
size_t write_callback(char *ptr, size_t size, size_t nmemb, void *userdata) {
    FILE *fp = (FILE *)userdata;
    return fwrite(ptr, size, nmemb, fp);
}

int main() {
    CURL *curl;
    CURLcode res;
    FILE *file;

    // 初始化cURL
    curl_global_init(CURL_GLOBAL_DEFAULT);
    curl = curl_easy_init();

    if(curl) {
        // 设置目标URL
        curl_easy_setopt(curl, CURLOPT_URL, "http://example.com"); // 替换为你想要抓取的网页地址

        // 打开文件用于保存响应
        file = fopen("output.html", "wb");
        if(file) {
            // 设置写入数据的回调函数
            curl_easy_setopt(curl, CURLOPT_WRITEFUNCTION, write_callback);
            curl_easy_setopt(curl, CURLOPT_WRITEDATA, file);

            // 发送请求并接收响应
            res = curl_easy_perform(curl);

            // 检查请求是否成功
            if(res != CURLE_OK)
                fprintf(stderr, "curl_easy_perform() failed: %s\n", curl_easy_strerror(res));

            // 关闭文件
            fclose(file);

            // 清理资源
            curl_easy_cleanup(curl);
        }
    }

    // 全局初始化清理
    curl_global_cleanup();

    return 0;
}

请注意，这只是一个非常基础的例子，实际的爬虫可能会更复杂，需要处理异步请求、错误处理、数据提取以及可能的反爬机制。同时，很多现代网站为了防止爬虫，会设置robots.txt规则或者采用复杂的动态加载技术，因此遵守网络礼仪并尊重网站规定是非常重要的。