jsoup 爬取完整页面数据
时间: 2023-10-07 20:07:33 浏览: 166
jsoup爬取网页数据
要使用Jsoup爬取完整页面数据,可以使用Jsoup.connect()方法获取页面源代码,然后使用Jsoup.parse()方法将源代码解析为Document对象,最后使用Document.html()方法获取完整页面的HTML代码。
以下是一个使用Jsoup爬取完整页面数据的示例代码:
```java
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import java.io.IOException;
public class Main {
public static void main(String[] args) throws IOException {
String url = "https://www.example.com";
Document doc = Jsoup.connect(url).get();
String html = doc.html();
System.out.println(html);
}
}
```
在上面的示例中,我们首先定义了要爬取的网页URL。然后使用Jsoup.connect()方法获取页面源代码,并使用Jsoup.parse()方法将其解析为Document对象。最后,我们使用Document.html()方法获取完整页面的HTML代码,并将其打印到控制台上。
请注意,Jsoup.connect()方法可能会抛出IOException异常,因此我们需要在方法签名中使用throws关键字声明该异常。
阅读全文