用java完成如下功能:爬取指定网站的指定类型资源,直接给出代码案例
时间: 2023-02-07 11:33:37 浏览: 101
为了爬取指定网站的指定类型资源,你可以使用第三方库来帮助你完成这个任务。
下面是一个使用 Java 和 jsoup 的示例代码,它会爬取指定网站的所有图片链接:
```
import java.io.IOException;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;
public class WebCrawler {
public static void main(String[] args) throws IOException {
// 目标网站 URL
String url = "https://www.example.com";
// 使用 Jsoup 连接到目标网站
Document document = Jsoup.connect(url).get();
// 找到所有的 img 元素
Elements images = document.select("img");
// 遍历所有的 img 元素
for (Element image : images) {
// 获取图片的链接
String imgUrl = image.attr("src");
// 打印图片链接
System.out.println(imgUrl);
}
}
}
```
如果你想爬取其他类型的资源,只需要更改 `document.select()` 方法中的参数就可以了。例如,如果你想爬取所有的视频链接,你可以使用 `document.select("video")` 来获取所有的 video 元素。
希望这个示例代码能帮到你!
阅读全文