java 抓取网站数据
时间: 2024-02-05 12:34:15 浏览: 78
java抓取网站数据.pdf
要使用Java抓取网站数据,可以使用Java中的网络爬虫框架,如Jsoup、HttpClient、OkHttp等。下面是一个简单的使用Jsoup抓取网页数据的示例代码:
```java
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;
import java.io.IOException;
public class WebScraper {
public static void main(String[] args) {
String url = "https://www.example.com";
try {
Document doc = Jsoup.connect(url).get();
Elements links = doc.select("a[href]");
for (Element link : links) {
System.out.println(link.attr("href"));
}
} catch (IOException e) {
e.printStackTrace();
}
}
}
```
这个例子中,我们使用Jsoup连接到一个网址,然后提取页面中的所有链接并打印出来。需要注意的是,网站的所有数据都是有版权保护的,请在合法范围内使用。
阅读全文