用java写一个爬虫
时间: 2023-02-05 15:21:57 浏览: 66
好的,这是一个使用 Java 写爬虫的简单示例:
```
import java.io.IOException;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;
public class SimpleCrawler {
public static void main(String[] args) throws IOException {
// 要爬取的网站地址
String url = "http://www.example.com";
// 使用 Jsoup 库来解析网页
Document doc = Jsoup.connect(url).get();
// 获取所有的链接元素
Elements links = doc.select("a[href]");
for (Element link : links) {
// 获取链接的文本和地址
String linkText = link.text();
String linkHref = link.attr("href");
System.out.println(linkText + " -> " + linkHref);
}
}
}
```
这段代码使用 Jsoup 库解析给定的网站地址,然后获取所有的链接元素并打印出文本和地址。
注意,这只是一个简单的爬虫示例,实际的爬虫程序可能会更加复杂。例如,你可能需要考虑网站的反爬虫措施、爬取多个页面、保存爬取的数据等。