java代码实现数据爬取
时间: 2023-09-11 08:12:32 浏览: 32
要使用Java进行数据爬取,可以使用Jsoup这个开源库。以下是一个简单的示例代码,用于从指定网址中提取所有的超链接:
```java
import java.io.IOException;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;
public class WebCrawler {
public static void main(String[] args) {
String url = "https://www.example.com";
try {
Document doc = Jsoup.connect(url).get();
Elements links = doc.select("a[href]");
for (Element link : links) {
System.out.println(link.attr("abs:href"));
}
} catch (IOException e) {
e.printStackTrace();
}
}
}
```
在这个示例中,我们使用Jsoup的`connect()`方法连接到指定的网址,然后使用`get()`方法获取网页的HTML代码。接着,我们使用`select()`方法选择所有的超链接元素,并通过一个循环遍历所有的链接,最后输出每个链接的URL地址。