java爬虫设置user-agent

在Java中，设置User-Agent是为了模拟浏览器客户端的身份，以便在爬取网站数据时，让服务器认为请求来自真实的用户而非自动化程序，避免被封禁。User-Agent是一个字符串，通常包含浏览器信息、操作系统信息以及特定于应用程序的信息。

设置User-Agent的一般步骤如下：

1. 导入必要的库：如果你使用的是如Jsoup这样的HTML解析库，需要先导入它，例如：

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;

2. 创建一个请求对象并配置User-Agent：

String userAgent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3";
Document doc = Jsoup.connect("http://example.com").header("User-Agent", userAgent).get();

在这个例子中，`connect()`方法创建了一个连接，`header()`方法设置了User-Agent头。