用java完成如下功能:爬取指定网站所有的视频和图片,直接给出代码案例
时间: 2023-02-07 13:33:36 浏览: 120
这是一个使用 Java 爬取指定网站所有视频和图片的代码示例:
```
import java.io.IOException;
import java.io.InputStream;
import java.net.URL;
import java.nio.file.Files;
import java.nio.file.Paths;
import java.nio.file.StandardCopyOption;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;
public class Main {
public static void main(String[] args) throws IOException {
// 要爬取的网站地址
String url = "https://www.example.com";
// 获取该网站的 HTML 文档
Document document = Jsoup.connect(url).get();
// 查找所有视频和图片的元素
Elements elements = document.select("video, img");
for (Element element : elements) {
// 获取该元素的 URL
String src = element.attr("src");
// 创建一个 URL 对象
URL mediaUrl = new URL(src);
// 打开该 URL 对应的输入流
InputStream in = mediaUrl.openStream();
// 使用文件名保存文件
String fileName = src.substring(src.lastIndexOf("/") + 1);
Files.copy(in, Paths.get(fileName), StandardCopyOption.REPLACE_EXISTING);
in.close();
}
}
}
```
需要注意的是,需要添加 JSoup 库的依赖,如果使用 Maven 作为构建工具,可以在 pom.xml 文件中添加如下依赖:
```
<dependency>
<groupId>org.jsoup</groupId>
<artifactId>jsoup</artifactId>
<version>1.13.1</version>
</dependency>
```
在爬取网站资源之前,最好先阅读该网站的爬取政策,如果禁止爬取,应该尊重该网站的意愿。
阅读全文