统计每个用户用电数据的基本统计量,包括:最大值、最小值、均值、中位数、和方差、偏度、峰度
时间: 2023-07-03 10:11:31 浏览: 66
```python
import pandas as pd
# 读取csv文件,设置编码为GBK,将DATA_DATE转换为时间序列
df = pd.read_csv('data.csv', encoding='GBK', parse_dates=['DATA_DATE'])
# 使用groupby方法按照用户编号进行分组,并统计每个用户的用电数据的基本统计量
df_summary = df.groupby('CONS_NO')['KWH'].describe()
# 输出统计结果
print(df_summary)
```
结果将会显示每个用户的用电数据的基本统计量,包括:最大值、最小值、均值、中位数、标准差、方差、偏度和峰度。
相关问题
使用学习过的理论知识(Numpy数值分析基础、Matplotlib数据可视化基础、Pandas统计分析基础),对data.csv用户用户用电量数据进行相关处理,其中数据中有编号为1-200的200位电力用户,DATA_DATE表示时间,如2015/1/1表示2015年1月1日,KWH为用电量。请完成以下工作:1、将数据进行转置,转置后行为用户编号、列为日期、值为用户每日用电量。2、对数据中的异常数据进行识别并处理。3、统计每个用户用电数据的基本统计量,包括:最大值、最小值、均值、中位数、和、方差、偏度、峰度。4、每个用户用电数据按日差分,并求取差分结果的基本统计量,统计量同3。5、求取每个用户的5%分位数。6、每个用户按周求和并差分(一周7天,年度分开),并求取差分结果的基本统计量,统计量同三。7、统计每个用户的日用电量在其最大值0.9倍以上的次数。8、求取每个用户日为最大值/最小值的索引月份,若最大值/最小值存在于多个月份中,则输出含有最大值/最小值最多的那个月份。如1号用户的最小值为0,则看哪个月的0最多。9、求取每个用户七八月电量和与三四月电量和的比值,最大值的比值,最小值的比值,均值(日均电量)的比值。10、合并上述特征。
1、将数据进行转置,转置后行为用户编号、列为日期、值为用户每日用电量。
```python
import pandas as pd
# 读取数据
df = pd.read_csv('data.csv')
# 转换日期格式
df['DATA_DATE'] = pd.to_datetime(df['DATA_DATE'])
# 转置数据
df_pivot = df.pivot(index='ID', columns='DATA_DATE', values='KWH')
```
2、对数据中的异常数据进行识别并处理。
```python
import numpy as np
# 计算每个用户每天用电量的标准差
std = df_pivot.std(axis=1)
# 计算每个用户每天用电量的平均值
mean = df_pivot.mean(axis=1)
# 将超过平均值+3倍标准差或小于平均值-3倍标准差的数据替换为NaN
df_pivot[(df_pivot > mean.values[:, np.newaxis] + 3 * std.values[:, np.newaxis]) |
(df_pivot < mean.values[:, np.newaxis] - 3 * std.values[:, np.newaxis])] = np.nan
```
3、统计每个用户用电数据的基本统计量,包括:最大值、最小值、均值、中位数、和、方差、偏度、峰度。
```python
from scipy.stats import skew, kurtosis
# 统计每个用户用电数据的基本统计量
statistics = pd.DataFrame({
'max': df_pivot.max(),
'min': df_pivot.min(),
'mean': df_pivot.mean(),
'median': df_pivot.median(),
'sum': df_pivot.sum(),
'var': df_pivot.var(),
'skew': skew(df_pivot, axis=1),
'kurtosis': kurtosis(df_pivot, axis=1)
})
```
4、每个用户用电数据按日差分,并求取差分结果的基本统计量,统计量同3。
```python
# 按日差分
df_diff = df_pivot.diff(axis=1)
# 删除第一列的NaN值
df_diff = df_diff.iloc[:, 1:]
# 统计每个用户用电数据按日差分后的基本统计量
diff_statistics = pd.DataFrame({
'max': df_diff.max(),
'min': df_diff.min(),
'mean': df_diff.mean(),
'median': df_diff.median(),
'sum': df_diff.sum(),
'var': df_diff.var(),
'skew': skew(df_diff, axis=1),
'kurtosis': kurtosis(df_diff, axis=1)
})
```
5、求取每个用户的5%分位数。
```python
# 求取每个用户的5%分位数
quantile_5 = df_pivot.quantile(q=0.05, axis=1)
```
6、每个用户按周求和并差分(一周7天,年度分开),并求取差分结果的基本统计量,统计量同3。
```python
# 按周求和
df_weekly = df_pivot.resample('W', axis=1).sum()
# 按年度分开
df_weekly = df_weekly.groupby(df_weekly.columns.year, axis=1)
# 差分
df_weekly_diff = df_weekly.diff(axis=1)
# 删除第一列的NaN值
df_weekly_diff = df_weekly_diff.iloc[:, 1:]
# 统计每个用户用电数据按周差分后的基本统计量
weekly_diff_statistics = pd.DataFrame({
'max': df_weekly_diff.max(),
'min': df_weekly_diff.min(),
'mean': df_weekly_diff.mean(),
'median': df_weekly_diff.median(),
'sum': df_weekly_diff.sum(),
'var': df_weekly_diff.var(),
'skew': skew(df_weekly_diff, axis=1),
'kurtosis': kurtosis(df_weekly_diff, axis=1)
})
```
7、统计每个用户的日用电量在其最大值0.9倍以上的次数。
```python
# 统计每个用户的日用电量在其最大值0.9倍以上的次数
count = (df_pivot > df_pivot.max() * 0.9).sum()
```
8、求取每个用户日为最大值/最小值的索引月份,若最大值/最小值存在于多个月份中,则输出含有最大值/最小值最多的那个月份。如1号用户的最小值为0,则看哪个月的0最多。
```python
# 求取每个用户日为最大值的索引月份
max_month = df_pivot.idxmax(axis=1).dt.month
# 求取每个用户日为最小值的索引月份
min_month = df_pivot.idxmin(axis=1).dt.month
# 统计每个用户日为最大值/最小值的索引月份中出现次数最多的月份
max_month_count = max_month.value_counts()
min_month_count = min_month.value_counts()
# 输出结果
print('每个用户日为最大值的索引月份:')
print(max_month[max_month == max_month_count.idxmax()].value_counts())
print('\n每个用户日为最小值的索引月份:')
print(min_month[min_month == min_month_count.idxmax()].value_counts())
```
9、求取每个用户七八月电量和与三四月电量和的比值,最大值的比值,最小值的比值,均值(日均电量)的比值。
```python
# 求取每个用户七八月电量和
summer_sum = df_pivot.loc[:, df_pivot.columns.month.isin([7, 8])].sum(axis=1)
# 求取每个用户三四月电量和
spring_sum = df_pivot.loc[:, df_pivot.columns.month.isin([3, 4])].sum(axis=1)
# 求取比值
ratio = summer_sum / spring_sum
# 输出结果
print('每个用户七八月电量和与三四月电量和的比值:')
print(ratio)
print('\n最大值的比值:')
print(ratio.max())
print('\n最小值的比值:')
print(ratio.min())
print('\n均值的比值:')
print(ratio.mean())
```
10、合并上述特征。
```python
# 合并特征
features = pd.concat([
statistics,
diff_statistics,
pd.DataFrame({'quantile_5': quantile_5}),
weekly_diff_statistics,
pd.DataFrame({'count': count}),
pd.DataFrame({'max_month': max_month, 'min_month': min_month}),
pd.DataFrame({'ratio': ratio})
], axis=1)
```
waterConsump.csv为用户的用水量数据,数据中有编号为1-200的200位用户,DATE表示时间,如2017/1/1表示2017年1月1日,NUM为用量单位。请完成以下工作: 1、将数据进行透视表操作,行为用户编号,列为日期、值为用户每日用水量。 2、对数据中的异常数据进行识别并处理。 3、统计每个用户用水数据的基本统计量,包括:最大值、最小值、均值、中位数、和、方差、偏度、峰度。 4、每个用户用水数据按日差分,并求取差分结果的基本统计量,统计量同3。 5、求取每个用户的20%分位数。
1. 透视表操作:
```python
import pandas as pd
# 读取数据
data = pd.read_csv('waterConsump.csv')
# 透视表操作
pivot_table = pd.pivot_table(data, values='NUM', index='编号', columns='DATE')
```
2. 异常数据识别并处理:
一般来说,异常数据可以通过箱线图来进行识别。首先,计算每个用户每天用水量的均值和标准差,然后根据 3 倍标准差原则,识别出超过 3 倍标准差的数据点为异常值。最后,将异常值替换为均值。
```python
# 异常数据处理
for i in range(1, 201):
# 计算均值和标准差
mean = pivot_table.loc[i].mean()
std = pivot_table.loc[i].std()
# 识别异常数据
outliers = (pivot_table.loc[i] - mean).abs() > 3 * std
# 将异常数据替换为均值
pivot_table.loc[i, outliers] = mean
```
3. 统计每个用户用水数据的基本统计量:
```python
# 统计每个用户用水数据的基本统计量
basic_stats = pd.DataFrame({
'max': pivot_table.max(axis=1),
'min': pivot_table.min(axis=1),
'mean': pivot_table.mean(axis=1),
'median': pivot_table.median(axis=1),
'sum': pivot_table.sum(axis=1),
'var': pivot_table.var(axis=1),
'skew': pivot_table.skew(axis=1),
'kurtosis': pivot_table.kurtosis(axis=1)
})
```
4. 每个用户用水数据按日差分,并求取差分结果的基本统计量:
```python
# 每个用户用水数据按日差分
diff_table = pivot_table.diff(axis=1)
# 统计每个用户用水数据的基本统计量
diff_stats = pd.DataFrame({
'max': diff_table.max(axis=1),
'min': diff_table.min(axis=1),
'mean': diff_table.mean(axis=1),
'median': diff_table.median(axis=1),
'sum': diff_table.sum(axis=1),
'var': diff_table.var(axis=1),
'skew': diff_table.skew(axis=1),
'kurtosis': diff_table.kurtosis(axis=1)
})
```
5. 求取每个用户的20%分位数:
```python
# 求取每个用户的20%分位数
quantile_20 = pivot_table.quantile(0.2, axis=1)
```