linux用socket实现网络爬虫

实现网络爬虫可以使用Socket编程，通过TCP/IP协议获取网页内容。以下是基本的实现步骤：

1. 创建Socket，建立连接。

2. 向服务器发送HTTP请求，获取网页内容。

3. 解析网页内容，提取需要的信息。

4. 将提取的信息存储到本地或进行其他处理。

下面是一个简单的示例：

#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <unistd.h>
#include <sys/socket.h>
#include <arpa/inet.h>

#define BUF_SIZE 1024

void error_handling(char *msg);

int main(int argc, char *argv[]) {
    int sock;
    struct sockaddr_in serv_addr;
    char request[BUF_SIZE];
    char response[BUF_SIZE];
    
    if(argc!=2) {
        printf("Usage : %s <IP>\n", argv[0]);
        exit(1);
    }
    
    sock = socket(PF_INET, SOCK_STREAM, 0);
    if(sock == -1)
        error_handling("socket() error");
    
    memset(&serv_addr, 0, sizeof(serv_addr));
    serv_addr.sin_family = AF_INET;
    serv_addr.sin_addr.s_addr = inet_addr(argv[1]);
    serv_addr.sin_port = htons(80);
    
    if(connect(sock, (struct sockaddr*)&serv_addr, sizeof(serv_addr))==-1)
        error_handling("connect() error");
    
    sprintf(request, "GET / HTTP/1.1\r\nHost: %s\r\nConnection: close\r\n\r\n", argv[1]);
    write(sock, request, strlen(request));
    
    while(read(sock, response, BUF_SIZE-1)>0) {
        printf("%s", response);
        memset(response, 0, sizeof(response));
    }
    
    close(sock);
    return 0;
}

void error_handling(char *msg) {
    fputs(msg, stderr);
    fputc('\n', stderr);
    exit(1);
}

这个示例使用Socket连接到一个Web服务器，发送HTTP请求获取网页内容，并将网页内容打印到控制台上。你可以根据需要对代码进行修改和扩展。