java爬虫抓取并保存网页代码
时间: 2023-09-09 16:08:55 浏览: 124
Java实现的爬虫抓取图片并保存操作示例
你可以使用Java编写爬虫来抓取并保存网页代码。以下是一个简单的示例代码:
```java
import java.io.BufferedWriter;
import java.io.FileWriter;
import java.io.IOException;
import java.net.URL;
import java.util.Scanner;
public class WebCrawler {
public static void main(String[] args) {
String url = "https://www.example.com"; // 要抓取的网页URL
try {
// 创建URL对象
URL website = new URL(url);
// 使用Scanner类读取网页内容
Scanner scanner = new Scanner(website.openStream());
StringBuilder content = new StringBuilder();
// 逐行读取网页内容并存储到StringBuilder中
while (scanner.hasNextLine()) {
content.append(scanner.nextLine());
}
// 关闭Scanner
scanner.close();
// 将网页内容写入文件
BufferedWriter writer = new BufferedWriter(new FileWriter("webpage.html"));
writer.write(content.toString());
writer.close();
System.out.println("网页抓取成功并保存到webpage.html文件中!");
} catch (IOException e) {
e.printStackTrace();
}
}
}
```
在上面的示例中,我们使用了`URL`类和`Scanner`类来读取网页的内容,并使用`StringBuilder`将内容存储起来。然后,我们使用`BufferedWriter`将内容写入到名为`webpage.html`的文件中。
请注意,这只是一个简单的示例代码,你可能需要根据具体的需求进行修改和完善。此外,注意要遵守网站的使用规则和法律法规,确保你的爬虫行为合法合规。
阅读全文