自动化爬取豆瓣Top250电影信息与海报

本篇文章主要介绍了如何编写一个Python脚本来爬取豆瓣Top250电影的相关信息，并下载电影海报。该爬虫分为三个步骤： 1. **创建文件夹**： 在D盘根目录下创建了一个名为"D://豆瓣top250"的文件夹，然后使用`for`循环遍历250个电影ID。对于每一个ID，程序会生成一个新的子文件夹，文件夹名格式为"D://豆瓣top250/1", "D://豆瓣top250/2"等，直到第250个。使用`os.path.exists()`检查文件夹是否存在，如果不存在则调用`os.mkdir()`创建，如果已存在则打印提示。 2. **访问网站并获取HTML文本**： 通过定义`getHTMLText(url)`函数，利用requests库向豆瓣电影Top250的页面发送GET请求，设置超时时间和头部信息。尝试获取响应并解析HTML内容。如果请求过程中出现异常，返回错误信息。 3. **爬取和保存信息**： `getInfo(url)`函数负责提取电影信息。首先，通过XPath表达式从HTML中抓取电影名称。接着，使用XPath选择器找到包含导演、演员、上映时间、制片国家和类型的`div[@class="bd"]/p[1]`元素，并尝试获取其中的文本数据。对于可能存在的多对导演和主演信息，使用Python字典的索引操作，如`directorandStar=info["director"]`来处理。这些信息将被分别提取并保存到对应的电影文件夹内的文本文件中。 整个流程旨在自动化获取豆瓣Top250电影列表中的关键信息，并组织成易于管理的文件结构，以便后续分析或进一步处理。通过这个爬虫，学习者可以了解HTTP请求、HTML解析、文件系统操作以及Python数据处理的基本概念。同时，它也展示了在实际项目中如何优雅地处理网络请求异常和文件管理。