用C语言实现一个简易的 Web 爬虫，从指定的一个初始页面的 URL 出发，执行操作： 获取页面->分析页面->提取链接->获取新页面…… 1.仅考虑获取普通 http 页面 2.链接获取最多 3 层 最后在Ubuntu上条收

好的，这是一个比较有挑战的问题，需要涉及到网络编程和 HTML 解析。我会尽力回答您的问题，但鉴于篇幅限制，我只能给您一些大致的思路和代码框架。

一、网络请求

C语言实现网络请求，需要用到 socket 函数库。具体步骤如下：

1. 创建 socket

#include <sys/socket.h>
#include <netinet/in.h>
#include <arpa/inet.h>
#include <unistd.h>

int sockfd = socket(AF_INET, SOCK_STREAM, 0);

2. 连接服务器

struct sockaddr_in server_addr;
memset(&server_addr, 0, sizeof(server_addr));
server_addr.sin_family = AF_INET;
server_addr.sin_port = htons(port);
inet_pton(AF_INET, ip, &server_addr.sin_addr);

connect(sockfd, (struct sockaddr*)&server_addr, sizeof(server_addr));

3. 发送请求

char request[1024];
sprintf(request, "GET %s HTTP/1.1\r\nHost: %s\r\nConnection: close\r\n\r\n", path, host);
send(sockfd, request, strlen(request), 0);

4. 接收响应

char buffer[1024];
int n = 0;
while ((n = recv(sockfd, buffer, sizeof(buffer), 0)) > 0) {
    // 处理响应
}

二、HTML 解析

C语言解析 HTML，需要用到第三方库，比如 `libxml2` 或者 `htmlcxx`。这里以 `htmlcxx` 为例，具体步骤如下：

1. 安装 `htmlcxx`

sudo apt install libhtmlcxx-dev

2. 引入头文件

#include <htmlcxx/html/ParserDom.h>

using namespace htmlcxx;
using namespace HTML;

3. 解析 HTML

HTML::ParserDom parser;
tree<HTML::Node> dom = parser.parseTree(html);

// 遍历 DOM 树，提取链接
std::vector<std::string> links;
for (auto&& node : dom) {
    if (node.tagName() == "a") {
        auto href = node.attribute("href").second;
        if (href.find("http://") == 0 || href.find("https://") == 0) {
            links.push_back(href);
        }
    }
}

三、爬虫实现

基于以上两个步骤，我们可以实现一个简单的 Web 爬虫。伪代码如下：

#define MAX_DEPTH 3

void crawl(const std::string& url, int depth) {
    // 获取页面
    auto html = fetch(url);

    // 分析页面，提取链接
    auto links = extract_links(html);

    // 获取新页面
    for (auto&& link : links) {
        if (depth < MAX_DEPTH) {
            crawl(link, depth + 1);
        }
    }
}

其中，`fetch` 函数用于获取页面，`extract_links` 函数用于分析页面并提取链接。这两个函数的实现可以参考前面的代码片段。

最后，在 Ubuntu 上编译并执行即可。