java多线程爬取分页接口的数据

可以使用Java中的多线程技术来实现分页接口的数据爬取，以下是一个简单的实现示例：

import java.util.concurrent.ExecutorService;
import java.util.concurrent.Executors;

public class PageCrawler {

    public static void main(String[] args) {
        ExecutorService executor = Executors.newFixedThreadPool(5); // 创建线程池，大小为5

        final int pageCount = 10; // 总页数
        final String apiUrl = "http://example.com/api?page=%d"; // 接口地址，%d表示页数

        for (int i = 1; i <= pageCount; i++) {
            final int page = i;
            executor.execute(() -> {
                String url = String.format(apiUrl, page);
                String data = fetchData(url); // 爬取数据
                System.out.println("Page " + page + " data: " + data);
            });
        }

        executor.shutdown(); // 关闭线程池
    }

    private static String fetchData(String url) {
        // 实现爬取数据的逻辑
        return "";
    }
}

在这个例子中，我们使用`ExecutorService`创建了一个大小为5的线程池，然后循环遍历每一页的数据，将每一页的爬取任务提交给线程池中的线程执行。当所有任务都完成时，我们关闭了线程池。在实际应用中，你还需要根据接口返回的数据格式和内容来编写相应的解析逻辑。