用C语言实现完整程序 实现一个简易的 Web 爬虫，从指定的一个初始页面的 URL 出发，执行操作： 获取页面->分析页面->提取链接->获取新页面…… 1.仅考虑获取普通 http 页面 2.链接获取最多 3 层 最后在Ubuntu上测试运行

好的，我会尽力回答你的问题。首先，需要明确一下爬虫的基本原理：通过发送 HTTP 请求获取页面内容，然后对页面进行解析，提取出需要的信息和链接，再根据这些链接继续获取新的页面，如此往复。

下面是一个简单的 Web 爬虫程序的实现思路：

1. 定义一个结构体来存储 URL 信息，包括 URL 地址和该 URL 的深度。

typedef struct {
    char url[MAX_URL_LEN];   // URL 地址
    int depth;               // 当前 URL 的深度
} url_info_t;

2. 定义一个队列来存储待处理的 URL。

typedef struct {
    url_info_t data[MAX_QUEUE_LEN]; // 存储 URL 的数组
    int head;                       // 队头
    int tail;                       // 队尾
} url_queue_t;

3. 编写一个函数来向队列中添加新的 URL。

int enqueue(url_queue_t *queue, const char *url, int depth) {
    if (queue->tail >= MAX_QUEUE_LEN) {
        return -1;  // 队列已满
    }
    strcpy(queue->data[queue->tail].url, url);
    queue->data[queue->tail].depth = depth;
    queue->tail++;
    return 0;
}

4. 编写一个函数来从队列中取出一个 URL。

int dequeue(url_queue_t *queue, char *url, int *depth) {
    if (queue->head >= queue->tail) {
        return -1;  // 队列已空
    }
    strcpy(url, queue->data[queue->head].url);
    *depth = queue->data[queue->head].depth;
    queue->head++;
    return 0;
}

5. 编写一个函数来获取页面内容。

int get_page(const char *url, char *page_content) {
    // 创建 TCP socket
    int sockfd = socket(AF_INET, SOCK_STREAM, 0);
    if (sockfd < 0) {
        return -1;  // 创建 socket 失败
    }
    // 解析主机名和端口号
    char host[MAX_HOST_LEN];
    int port;
    if (parse_url(url, host, &port) < 0) {
        return -2;  // URL 格式错误
    }
    // 获取主机 IP 地址
    struct hostent *hp = gethostbyname(host);
    if (hp == NULL) {
        return -3;  // 获取主机 IP 失败
    }
    // 建立连接
    struct sockaddr_in servaddr;
    memset(&servaddr, 0, sizeof(servaddr));
    servaddr.sin_family = AF_INET;
    servaddr.sin_port = htons(port);
    memcpy(&servaddr.sin_addr.s_addr, hp->h_addr, hp->h_length);
    if (connect(sockfd, (struct sockaddr *)&servaddr, sizeof(servaddr)) < 0) {
        return -4;  // 连接失败
    }
    // 发送 HTTP 请求
    char request[MAX_REQUEST_LEN];
    sprintf(request, "GET %s HTTP/1.0\r\nHost: %s\r\n\r\n", url, host);
    if (send(sockfd, request, strlen(request), 0) < 0) {
        return -5;  // 发送请求失败
    }
    // 接收响应
    int n = 0;
    char buf[MAX_RESPONSE_LEN];
    while ((n = recv(sockfd, buf, sizeof(buf), 0)) > 0) {
        strcat(page_content, buf);
    }
    if (n < 0) {
        return -6;  // 接收响应失败
    }
    close(sockfd);
    return 0;
}

6. 编写一个函数来解析页面内容，提取链接。

int parse_links(const char *page_content, const char *base_url, const int depth, url_queue_t *queue) {
    char *p = (char *)page_content;
    char *q = NULL;
    char link[MAX_URL_LEN];
    while ((p = strstr(p, "href=\"")) != NULL) {
        p += 6;
        q = strchr(p, '\"');
        if (q == NULL) {
            break;
        }
        strncpy(link, p, q - p);
        link[q - p] = '\0';
        if (is_absolute_url(link)) {
            // 绝对 URL
            enqueue(queue, link, depth + 1);
        } else {
            // 相对 URL
            char abs_url[MAX_URL_LEN];
            make_absolute_url(base_url, link, abs_url);
            enqueue(queue, abs_url, depth + 1);
        }
        p = q;
    }
    return 0;
}

7. 编写主函数，按照上述步骤执行爬虫操作。

int main(int argc, char *argv[]) {
    if (argc != 2) {
        printf("Usage: %s <start_url>\n", argv[0]);
        return 1;
    }
    // 初始化队列，并添加初始 URL
    url_queue_t queue;
    queue.head = 0;
    queue.tail = 0;
    enqueue(&queue, argv[1], 0);
    // 开始爬虫操作
    char page_content[MAX_PAGE_LEN];
    int depth = 0;
    char url[MAX_URL_LEN];
    while (dequeue(&queue, url, &depth) == 0) {
        // 获取页面内容
        memset(page_content, 0, sizeof(page_content));
        if (get_page(url, page_content) < 0) {
            printf("Failed to get page: %s\n", url);
            continue;
        }
        // 解析页面内容，提取链接
        if (depth < MAX_DEPTH) {
            parse_links(page_content, url, depth, &queue);
        }
        // 处理页面内容，提取需要的信息
        // ...
    }
    return 0;
}

需要注意的一些问题：

1. URL 的深度不能超过 MAX_DEPTH，否则可能会陷入死循环或者无限递归。
2. 获取页面内容和解析页面内容的函数需要自己实现，可以使用第三方库来简化操作。
3. 在 Ubuntu 上编译和运行该程序需要安装相关的开发库和工具，例如 gcc、libcurl、libxml2 等。