网络爬虫程序开发 一、制作要求 1.要求设计、开发完整的网络爬虫程序，功能需要包括：网页内容获取、网页内容解析、网页内容存储、存储内容查询等。 2.开发语言使用：JAVA； 3.运行环境使用：Tomcat9+，JDK1.8+，MYSQL5+； 4.开发工具使用：IntelliJ IDEA 2020+； 5.网页内容获取：要求基于JSOUP（或HTTP CLIENT）连接目标网站，并包括请求头、超时等参数的设置； 6.网页内容解析：要求基于JSOUP采用CSS样式表选择器，编写HTTP网页内容的解析代码，要求解析内容需要涉及到列表ul-li（或表格table）元素的解析。 7.网页内容存储：一方面要求实现对网页中的图片（或影像）文件进行存储，存储到磁盘，另一方面要求实现对网页中的列表数据（或表格数据）进行存储，存储到MySQL数据库。 8.MySQL存储要求采用JDBC或SPRING-DATA-JPA或MYBATIS等方式实现。 9.存储内容查询：要求开发一个WEB页面，用于查询、展示网络爬虫程序采集到的数据

这是一个比较完整的网络爬虫程序开发要求，需要涉及到多个方面的知识和技能。以下是一个简单的实现思路和示例代码，供参考：

1. 网页内容获取

首先需要使用 Jsoup 连接目标网站，并获取网页内容。可以通过设置请求头、超时等参数来提高程序的稳定性和可靠性。以下是一个简单的示例代码：

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;

public class WebPageDownloader {
    public static Document download(String url) throws IOException {
        return Jsoup.connect(url)
                .userAgent("Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3")
                .timeout(30000)
                .get();
    }
}

以上代码使用 Jsoup 连接指定的网站，并设置了请求头和超时时间。

2. 网页内容解析

使用 Jsoup 的选择器来解析网页内容，可以根据 CSS 样式表选择器来选择需要解析的元素。以下是一个简单的示例代码：

import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

public class WebPageParser {
    public static void parse(Document doc) {
        // 解析 ul-li 列表
        Elements ulList = doc.select("ul.list > li");
        for (Element li : ulList) {
            String title = li.select("a.title").text();
            String link = li.select("a.title").attr("href");
            System.out.println(title + " -> " + link);
        }
        // 解析表格数据
        Element table = doc.select("table.data").first();
        Elements rows = table.select("tr");
        for (Element row : rows) {
            Elements cells = row.select("td");
            for (Element cell : cells) {
                System.out.print(cell.text() + "\t");
            }
            System.out.println();
        }
    }
}

以上代码使用 Jsoup 的选择器来选择 ul-li 列表和表格数据，并解析其内容。

3. 网页内容存储

将网页中的图片和列表数据存储到磁盘和 MySQL 数据库中。可以使用 Java I/O 和 JDBC 来实现。以下是一个简单的示例代码：

import org.jsoup.nodes.Document;

import java.io.FileOutputStream;
import java.io.IOException;
import java.io.InputStream;
import java.io.OutputStream;
import java.net.URL;
import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.PreparedStatement;
import java.sql.SQLException;

public class WebPageSaver {
    public static void save(Document doc) throws IOException, SQLException {
        // 存储图片
        Elements images = doc.select("img");
        for (Element image : images) {
            String src = image.attr("src");
            String fileName = src.substring(src.lastIndexOf("/") + 1);
            URL url = new URL(src);
            InputStream is = url.openStream();
            OutputStream os = new FileOutputStream("images/" + fileName);
            byte[] buffer = new byte[1024];
            int length;
            while ((length = is.read(buffer)) != -1) {
                os.write(buffer, 0, length);
            }
            is.close();
            os.close();
        }
        // 存储列表数据
        Element table = doc.select("table.data").first();
        Elements rows = table.select("tr");
        Connection conn = DriverManager.getConnection("jdbc:mysql://localhost:3306/mydb", "root", "password");
        PreparedStatement ps = conn.prepareStatement("INSERT INTO data VALUES (?, ?, ?)");
        for (Element row : rows) {
            Elements cells = row.select("td");
            String col1 = cells.get(0).text();
            String col2 = cells.get(1).text();
            String col3 = cells.get(2).text();
            ps.setString(1, col1);
            ps.setString(2, col2);
            ps.setString(3, col3);
            ps.executeUpdate();
        }
        ps.close();
        conn.close();
    }
}

以上代码将图片存储到 images 目录下，并将列表数据存储到 MySQL 数据库中。

4. 存储内容查询

开发一个 Web 页面，用于查询和展示网络爬虫程序采集到的数据。可以使用 Spring MVC 和 JSP 来实现。以下是一个简单的示例代码：

@Controller
public class DataController {
    @Autowired
    private DataService dataService;

    @GetMapping("/data")
    public String data(Model model) {
        List<Data> dataList = dataService.getAllData();
        model.addAttribute("dataList", dataList);
        return "data";
    }
}

@Service
public class DataService {
    @Autowired
    private DataRepository dataRepository;

    public List<Data> getAllData() {
        return dataRepository.findAll();
    }
}

@Repository
public interface DataRepository extends JpaRepository<Data, Long> {
}

@Entity
public class Data {
    @Id
    @GeneratedValue(strategy = GenerationType.IDENTITY)
    private Long id;
    private String col1;
    private String col2;
    private String col3;
    // getters and setters
}

以上代码使用 Spring MVC 和 JSP 来开发一个查询页面，其中 DataController 负责处理请求，DataService 负责查询数据，DataRepository 使用 Spring Data JPA 来操作数据库，Data 是一个实体类，对应数据库中的表。