Python数据分析与可视化：用数据讲故事

# 1. Python数据分析基础

Python是一种强大的编程语言，广泛用于数据分析。它提供了丰富的库和工具，可以帮助数据分析师有效地处理、探索和可视化数据。本章将介绍Python数据分析的基础知识，包括：

- Python数据类型和结构
- 数据输入/输出和文件处理
- 数据操作和转换
- NumPy和Pandas库简介

# 2. Python数据预处理和探索性数据分析

数据预处理和探索性数据分析是数据分析过程中的关键步骤，为后续的建模和可视化奠定基础。本章将介绍Python中常用的数据获取、加载、清洗、探索和可视化技术。

### 2.1 数据获取和加载

#### 2.1.1 从文件、数据库和API中获取数据

**文件读取**

import pandas as pd

# 从CSV文件读取数据
df = pd.read_csv('data.csv')

# 从Excel文件读取数据
df = pd.read_excel('data.xlsx')

**数据库连接**

import sqlalchemy as sa

# 连接到MySQL数据库
engine = sa.create_engine('mysql+pymysql://user:password@host:port/database')

# 从数据库读取数据
df = pd.read_sql('SELECT * FROM table', engine)

**API调用**

import requests

# 从API获取JSON数据
response = requests.get('https://api.example.com/data')
data = response.json()

# 将JSON数据转换为DataFrame
df = pd.DataFrame(data)

#### 2.1.2 数据类型转换和清洗

**数据类型转换**

df['column_name'] = df['column_name'].astype('int')

**缺失值处理**

# 丢弃缺失值
df = df.dropna()

# 填充缺失值
df['column_name'].fillna(0, inplace=True)

**异常值处理**

# 识别异常值
outliers = df[df['column_name'] > 3 * df['column_name'].std()]

# 删除异常值
df = df.drop(outliers.index)

### 2.2 数据探索和可视化

#### 2.2.1 统计描述和数据分布分析

# 统计描述
print(df.describe())

# 数据分布分析
import matplotlib.pyplot as plt

plt.hist(df['column_name'])
plt.show()

#### 2.2.2 数据可视化：图表和图形

**折线图**

plt.plot(df['date'], df['value'])
plt.xlabel('Date')
plt.ylabel('Value')
plt.show()

**散点图**

plt.scatter(df['x'], df['y'])
plt.xlabel('X')
plt.ylabel('Y')
plt.show()

**箱线图**

plt.boxplot(df['column_name'])
plt.xlabel('Variable')
plt.