java爬虫框架有哪些？他们的优缺点对比？哪些可以模拟登陆？模拟请求？

1. Jsoup

优点：轻量级、易于使用、支持解析HTML和XML、支持CSS选择器、可以直接从URL、文件和字符串中解析HTML。

缺点：不能处理JavaScript、不能模拟登录和请求。

2. HttpClient

优点：Apache基金会开发的成熟框架、支持HTTP协议的各种方法、可以模拟登录和请求、支持连接池、支持SSL、支持代理。

缺点：使用较为繁琐、需要手动处理Cookie、不支持JavaScript解析。

3. HtmlUnit

优点：可以模拟浏览器行为、支持JavaScript解析、支持模拟登录、支持代理、支持Cookie管理。

缺点：比较耗内存、运行速度较慢、不支持CSS3、不支持HTML5。

4. Selenium

优点：可以模拟浏览器行为、支持JavaScript解析、支持模拟登录、支持代理和Cookie管理、支持各种浏览器。

缺点：比较耗内存、运行速度较慢、需要安装浏览器驱动。

5. WebMagic

优点：基于Java开发的爬虫框架、易于使用、支持多线程、支持自定义解析器、支持模拟登录和请求。

缺点：对于复杂的页面结构可能不太适用、不支持JavaScript解析。

综合比较：如果需要处理JavaScript，建议使用HtmlUnit或Selenium；如果需要快速解析HTML或XML，建议使用Jsoup；如果需要模拟登录和请求，建议使用HttpClient、HtmlUnit或Selenium；如果需要构建一个可配置的、高性能的爬虫框架，可以考虑WebMagic。