java爬取网页数据代码
时间: 2023-09-06 10:12:14 浏览: 159
抓取网页数据的代码
4星 · 用户满意度95%
这里是一个简单的 Java 爬取网页数据的示例代码:
```java
import java.io.BufferedReader;
import java.io.InputStreamReader;
import java.net.URL;
public class WebPageScraper {
public static void main(String[] args) {
try {
// 定义要爬取的网页URL
String urlString = "https://www.example.com";
// 创建URL对象
URL url = new URL(urlString);
// 打开URL连接
BufferedReader reader = new BufferedReader(new InputStreamReader(url.openStream()));
// 读取网页内容
String line;
StringBuilder content = new StringBuilder();
while ((line = reader.readLine()) != null) {
content.append(line);
}
// 关闭连接
reader.close();
// 输出网页内容
System.out.println(content.toString());
} catch (Exception e) {
e.printStackTrace();
}
}
}
```
上述代码使用了 `java.net.URL` 类来创建一个 URL 对象,然后通过打开该 URL 连接并使用 BufferedReader 逐行读取网页内容。最后将读取到的内容输出到控制台。
请注意,爬取网页数据需要遵循网站的使用条款和法律规定。在使用爬虫时,请确保你有权限访问目标网站,并遵守相关规定。
阅读全文