写一个简单的java爬虫程序
时间: 2023-10-25 17:08:04 浏览: 91
Java自制爬虫程序
抱歉,作为AI语言模型,我无法提供编程功能。但是,以下是一个简单的Java爬虫程序的基本框架:
```java
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;
import java.io.IOException;
public class SimpleWebCrawler {
public static void main(String[] args) {
String url = "https://www.example.com"; // 要爬取的网址
try {
Document doc = Jsoup.connect(url).get(); // 获取网页内容
Elements links = doc.select("a[href]"); // 选择所有超链接
for (Element link : links) {
String linkUrl = link.attr("abs:href"); // 获取超链接地址
System.out.println(linkUrl); // 输出超链接地址
}
} catch (IOException e) {
e.printStackTrace();
}
}
}
```
这个程序使用Jsoup库来获取网页内容,并使用CSS选择器语法来选择超链接元素。爬取的结果将打印到控制台上。这只是一个简单的示例程序,实际的爬虫程序需要更多的代码来处理网页内容、存储数据等。
阅读全文