东财年报数据抓取实践：requests+BeautifulSoup4+正则表达式

在《云计算与大数据》课程的实验二中，非结构化数据爬取是一项重要的实践任务，主要目的是让学生理解网络爬虫的工作原理，掌握基础的Python库如requests和BeautifulSoup4的使用，以及正则表达式的应用。实验的核心是通过编程技术从指定的网站（如https://data.eastmoney.com/bbsj/）获取和解析非结构化数据，具体涉及以下几个关键知识点： 1. **网络爬虫基础**：实验开始时，会介绍网络爬虫的基本原理，包括如何识别网页结构、跟踪链接、遵循网站的robots.txt规则等，以确保爬取过程的合法性和效率。 2. **requests库的使用**：学生将学习如何使用requests库发送HTTP请求，获取静态网页的HTML内容。这包括设置请求头（如User-Agent），模拟浏览器行为，以及处理可能的响应状态码和重定向。 3. **BeautifulSoup4库解析**：BeautifulSoup4是用于解析HTML和XML文档的库，它能够方便地定位、提取和修改页面中的数据。实验中，学生将运用BeautifulSoup4解析HTML结构，找到包含股票年报信息的部分，并提取出相关数据。 4. **正则表达式应用**：正则表达式在爬虫中常用于处理文本数据，如匹配特定模式或提取特定信息。实验中可能涉及到使用正则表达式来解析年报文件的URL，或者清洗获取的数据。 5. **文件操作与存储**：通过os模块，学生将学习如何创建和管理文件，比如创建新文件夹以存放爬取的年报文件。此外，可能还会涉及将数据保存为JSON或其他格式，便于后续分析或处理。 6. **代码实现与调试**：提供的参考代码展示了如何整合以上技能，包括导入必要的库、定义函数如新建文件夹，以及编写主爬虫逻辑。学生需要根据实际需求修改和优化这段代码，以适应不同的股票年报URL和信息提取需求。 通过这个实验，学生不仅能够提升编程和数据抓取能力，还能够理解非结构化数据的处理方法，为大数据分析和云计算项目打下坚实的基础。