Scrapy报错 ERROR: load_item error: <class 'AttributeError'>, 'list' object has no attribute 'get', html.py, 201
时间: 2023-06-21 17:09:38 浏览: 84
初学者scrapy框架爬取数据不成功,出现ERROR: Spider error processing错误问题的解决方法
这个错误通常是由于在解析HTML时出现了问题。可以尝试检查代码中解析HTML的部分,看看是否有使用了 `get()` 方法的地方,但是提供的数据是一个列表而不是字典。
另外,也可以尝试在抓取网页时,打开Scrapy的日志功能,来查看哪个URL出现了错误。例如,在命令行中使用以下命令来抓取网页和打开日志:
```
scrapy crawl myspider -s LOG_FILE=scrapy.log
```
然后查看日志文件 `scrapy.log`,找到报错的URL和对应的解析代码,进行调试。
阅读全文