用java深度优先搜索写一个爬虫

在Java中，我们可以使用深度优先搜索（Depth-First Search，DFS）算法来构建一个简单的网页爬虫。这里我们假设使用的是递归的方式实现，因为DFS非常适合树状结构，而网站链接通常可以看作是一个有向图的简化版本。

首先，我们需要一个基本的HTML解析工具，如Jsoup库，来帮助处理HTML文档。然后创建一个`WebCrawler`类，包含以下部分：

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import java.util.ArrayList;
import java.util.List;

public class WebCrawler {

    private static final String START_URL = "http://example.com"; // 起始URL
    private List<String> visitedUrls = new ArrayList<>();

    public void crawl() {
        dfs(START_URL);
    }

    private void dfs(String url) {
        if (visitedUrls.contains(url)) {
            return; // 如果已经访问过，避免无限循环
        }
        
        try {
            Document doc = Jsoup.connect(url).get();
            visitedUrls.add(url); // 记录已访问的URL

            for (Element link : doc.select("a[href]")) { // 选择所有的超链接
                String nextUrl = link.attr("href");
                if (isValidLink(nextUrl)) { // 验证是否为有效的网址
                    System.out.println("Visiting: " + nextUrl);
                    dfs(nextUrl); // 递归调用自身
                }
            }
        } catch (Exception e) {
            e.printStackTrace(); // 处理网络异常
        }
    }

    private boolean isValidLink(String link) {
        // 这里可以根据需要添加验证规则，比如检查是否为绝对路径、是否为外部链接等
        // 如果不需要额外判断，可以简单地返回true
        return !link.startsWith("#") && !link.startsWith("//") && !link.equals(START_URL);
    }
}