利用java实现网络爬虫
时间: 2023-11-29 22:03:40 浏览: 111
网络爬虫Java实现原理
4星 · 用户满意度95%
网络爬虫是一种自动化程序,可以在互联网上自动抓取数据。Java中可以使用Jsoup库来实现网络爬虫。以下是一个简单的示例代码:
```java
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;
import java.io.IOException;
public class WebCrawler {
public static void main(String[] args) {
String url = "https://www.example.com";
try {
Document doc = Jsoup.connect(url).get();
Elements links = doc.select("a[href]");
for (Element link : links) {
System.out.println(link.attr("href"));
}
} catch (IOException e) {
e.printStackTrace();
}
}
}
```
这个示例代码会抓取指定网站的所有链接,并输出链接的URL。
阅读全文