python数据清洗爬虫可视化代码
时间: 2024-06-18 18:02:21 浏览: 184
python爬虫数据可视化分析大作业代码.zip
Python是一门功能强大的编程语言,它在数据清洗、爬虫和可视化方面都有很多优秀的库和工具。以下是Python中一些常用的数据清洗、爬虫和可视化库及其使用示例:
1. 数据清洗库:pandas
Pandas是一个开源的数据分析工具,它可以帮助我们进行数据清洗、转换、合并等操作。以下是一个简单的示例:
```
import pandas as pd
# 读取csv文件
df = pd.read_csv('data.csv')
# 删除重复行
df.drop_duplicates(inplace=True)
# 填充缺失值
df.fillna(0, inplace=True)
# 保存到新文件
df.to_csv('new_data.csv', index=False)
```
2. 爬虫库:beautifulsoup4
Beautiful Soup是一个Python库,用于从HTML和XML文件中提取数据。以下是一个简单的示例:
```
from bs4 import BeautifulSoup
import requests
# 获取网页内容
response = requests.get('http://www.example.com')
# 解析网页内容
soup = BeautifulSoup(response.content, 'html.parser')
# 查找标签内容
title = soup.find('title').text
# 输出结果
print(title)
```
3. 可视化库:matplotlib
Matplotlib是Python中一个流行的可视化库,它可以帮助我们创建各种类型的图表。以下是一个简单的示例:
```
import matplotlib.pyplot as plt
# 创建数据
x = [1, 2, 3, 4, 5]
y = [10, 8, 6, 4, 2]
# 创建折线图
plt.plot(x, y)
# 设置图表标题和标签
plt.title('Line Chart')
plt.xlabel('X Axis')
plt.ylabel('Y Axis')
# 显示图表
plt.show()
```
阅读全文