HttpClient爬虫解决unable to find valid certification path to requested target

HttpClient爬虫在遇到“unable to find valid certification path to requested target”错误时，通常是因为它试图连接的目标网站启用了HTTPS加密，并且你的程序使用的证书库（如Java的默认TrustManager）中没有包含该网站所需的可信SSL证书。

这个问题的解决方案包括以下几个步骤：

1. **添加根证书**: 如果服务器的自签名证书不是常见的信任根，你需要获取这个证书的PEM文件并将其添加到你的系统证书存储或者自定义TrustStore中。例如，在Java中可以这样做：

   KeyStore truststore = KeyStore.getInstance(KeyStore.getDefaultType());
   try (InputStream is = new FileInputStream("path_to_your_certificate.pem")) {
       truststore.load(is, "password".toCharArray());
   }
   SSLContext sslContext = SSLContext.getInstance("TLS");
   sslContext.init(null, new TrustManager[] {new X509TrustManager() {
       public void checkClientTrusted(X509Certificate[] chain, String authType) throws CertificateException {}
       public void checkServerTrusted(X509Certificate[] chain, String authType) throws CertificateException {
           truststore.checkServerTrust链);
       }
       public X509Certificate[] getAcceptedIssuers() {
           return truststore.getCertificateChain("");
       }
   }}, null);
   HttpClientBuilder httpClientBuilder = HttpClientBuilder.create();
   httpClientBuilder.setSSLSocketFactory(sslContext.getSocketFactory());

确保替换`"path_to_your_certificate.pem"`和`"password"`为实际的路径和密码。

2. **配置OkHttp** (如果你使用的是OkHttp):

   OkHttpClient client = new OkHttpClient.Builder()
       .sslSocketFactory(new SslSocketFactory(SSLSocketFactory.TLS, new TrustManager[]{new MyTrustManager(truststore)})
       .build();

3. **检查代理设置**：如果通过代理访问，确保代理服务器支持SSL/TLS。

4. **禁用SSL验证**（仅在调试阶段）：
这是临时的解决方案，但在生产环境中不建议，因为它会暴露于中间人攻击的风险：

   httpClientBuilder.disableSslVerification();