写一段java爬虫代码
时间: 2023-12-01 11:34:19 浏览: 67
好的,以下是一段简单的Java爬虫代码,它可以从指定的网站抓取数据并将结果输出到控制台:
```java
import java.io.IOException;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.select.Elements;
public class WebCrawler {
public static void main(String[] args) {
String url = "https://www.example.com";
try {
Document document = Jsoup.connect(url).get();
Elements elements = document.select("p"); // 这里选择抓取网页中所有的段落内容
for (int i = 0; i < elements.size(); i++)
System.out.println(elements.get(i).text());
} catch (IOException e) {
e.printStackTrace();
}
}
}
```
这段代码主要使用了Jsoup库,它是一个用于解析HTML的Java库,可以方便地获取HTML文档中的元素和属性。我们使用`connect`方法连接到指定的网站,并使用`get`方法获取网页源代码,然后使用`select`方法选择我们需要的元素,最后使用`text`方法获取元素的文本内容并输出到控制台。
阅读全文