scrapy结合selenium解析动态页面的实现

1. 问题 虽然scrapy能够完美且快速的抓取静态页面，但是在现实中，目前绝大多数网站的页面都是动态页面，动态页面中的部分内容是浏览器运行页面中的JavaScript脚本动态生成的，爬取相对困难； 比如你信心满满的写好了一个爬虫，写好了目标内容的选择器，一跑起来发现根本找不到这个元素，当时肯定一万个黑人问号 于是你在浏览器里打开F12，一顿操作，发现原来这你妹的是ajax加载的，不然就是硬编码在js代码里的，blabla的… 然后你得去调ajax的接口，然后解析json啊，转成python字典啊，然后才能拿到你想要的东西 妹的就不能对我们这些小爬爬友好一点吗？ 于是大家伙肯定想过，“为啥不