数据采集与预处理课程设计

### 数据采集与预处理课程设计

#### 一、项目概述
数据采集与预处理是数据分析的重要环节之一。本课程设计旨在让学生掌握如何从互联网上获取所需数据并对其进行初步清洗和整理，以便后续分析工作顺利开展。

#### 二、具体实现方案

##### （一）目标网站的选择
选择具有代表性的公开资源作为抓取对象，如豆瓣电影排行榜等知名平台上的结构化信息。这类站点通常具备良好的API接口文档支持或较为固定的页面布局模式，有利于初学者理解和实践Web Scraping技术[^3]。

##### （二）工具准备
为了高效完成本次作业，建议安装如下软件环境：

- Python编程语言及其常用库（BeautifulSoup, requests）
- 文档编辑器（VSCode/PyCharm）

此外，还需熟悉基本的HTML/CSS/Javascript语法，用于解析网页源码中的标签属性值等内容，从而定位到感兴趣的数据片段位置。

##### （三）流程说明
1. 发送请求至服务器端口，模拟浏览器行为加载指定URL地址对应的完整HTML文件；
2. 利用正则表达式匹配算法筛选出符合条件的结果集；
3. 对提取出来的原始字符串做进一步加工转换成易于理解的形式；
4. 将最终得到的有效记录保存为本地CSV/XLSX格式文件供离线查看使用。

import re
from bs4 import BeautifulSoup as soup
import pandas as pd


def fetch_data(url):
    headers = {'User-Agent': 'Mozilla/5.0'}
    response = requests.get(url=url, headers=headers).content.decode('utf8')
    page_soup = soup(response,"html.parser")
    
    items = []
    for item in page_soup.find_all("div", class_="item"):
        title = item.select_one(".title").text.strip()
        rating = float(item.select_one(".rating_num").text.strip())
        
        single_item = {
            "Title": title,
            "Rating": rating
        }
        items.append(single_item)

    df = pd.DataFrame(items)
    return df


if __name__ == "__main__":
    url = "https://movie.douban.com/top250"
    data_frame = fetch_data(url)
    print(data_frame.head())

上述代码展示了如何利用Python编写简单的网络爬虫程序来收集特定类型的在线资料，并将其转化为便于管理的数据表形式。需要注意的是，在实际应用过程中应当遵循各网站的服务条款规定合理合法地实施自动化访问操作。