java 爬虫抓取网页
时间: 2023-10-14 15:05:50 浏览: 54
要使用Java编写爬虫来抓取网页,你可以使用Jsoup库。以下是一个简单的示例,演示如何使用Java爬虫抓取网页:
```java
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;
import java.io.IOException;
public class WebCrawler {
public static void main(String[] args) {
try {
// 指定目标网页的URL
String url = "https://example.com";
// 使用Jsoup连接到目标网页并获取整个HTML文档
Document doc = Jsoup.connect(url).get();
// 通过选择器定位需要抓取的元素
Elements links = doc.select("a[href]");
// 遍历抓取到的元素并输出链接
for (Element link : links) {
System.out.println(link.attr("href"));
}
} catch (IOException e) {
e.printStackTrace();
}
}
}
```
以上代码可以抓取指定网页中所有链接的href属性,并将其打印到控制台。
相关推荐
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)