CWRU数据集的预处理

CWRU数据集是一个旨在进行轴承故障诊断的数据集，包含了四种故障类型和一个正常状态下的数据。该数据集需要进行一些预处理才能用于机器学习模型的训练和测试。

以下是CWRU数据集的预处理步骤：

1. 导入数据集

将CWRU数据集下载到本地，并使用Python的pandas库导入数据集。

import pandas as pd

# 导入正常状态下的数据
df_normal = pd.read_csv('CWRU/Normal_0.csv')

# 导入四种故障类型下的数据
df_1 = pd.read_csv('CWRU/IR007_0.csv')
df_2 = pd.read_csv('CWRU/IR014_0.csv')
df_3 = pd.read_csv('CWRU/IR021_0.csv')
df_4 = pd.read_csv('CWRU/IR028_0.csv')

2. 去除无效数据

CWRU数据集中包含了一些无效数据，需要将其去除。例如，在IR007_0.csv中，第一行包含了无关信息，需要将其去除。

# 去除无效数据
df_1 = df_1.drop([0])

3. 合并数据

将正常状态下的数据和四种故障类型下的数据合并成一个数据集，并添加标签。

# 添加标签
df_normal['label'] = 'normal'
df_1['label'] = 'fault_1'
df_2['label'] = 'fault_2'
df_3['label'] = 'fault_3'
df_4['label'] = 'fault_4'

# 合并数据集
df = pd.concat([df_normal, df_1, df_2, df_3, df_4], ignore_index=True)

4. 分割数据

将数据集分成训练集和测试集，通常使用80%的数据作为训练集，20%的数据作为测试集。

from sklearn.model_selection import train_test_split

# 分割数据集
train_data, test_data = train_test_split(df, test_size=0.2, random_state=42)

5. 特征提取

CWRU数据集中包含了大量的振动信号数据，需要进行特征提取以便于机器学习算法使用。常用的特征提取方法包括时域特征、频域特征和小波变换特征等。

# 特征提取

# 时域特征
train_data['mean'] = train_data.mean(axis=1)
train_data['std'] = train_data.std(axis=1)
train_data['skew'] = train_data.skew(axis=1)
train_data['kurt'] = train_data.kurt(axis=1)

test_data['mean'] = test_data.mean(axis=1)
test_data['std'] = test_data.std(axis=1)
test_data['skew'] = test_data.skew(axis=1)
test_data['kurt'] = test_data.kurt(axis=1)

# 频域特征
from scipy.fftpack import fft

def get_fft_feature(data):
    fft_feature = []
    for i in range(data.shape[0]):
        fft_data = abs(fft(data.iloc[i,:]))
        fft_feature.append(fft_data)
    return pd.DataFrame(fft_feature)

train_fft_feature = get_fft_feature(train_data.iloc[:,:-1])
train_fft_feature.columns = ['fft_{}'.format(i) for i in range(train_fft_feature.shape[1])]

test_fft_feature = get_fft_feature(test_data.iloc[:,:-1])
test_fft_feature.columns = ['fft_{}'.format(i) for i in range(test_fft_feature.shape[1])]

train_data = pd.concat([train_data, train_fft_feature], axis=1)
test_data = pd.concat([test_data, test_fft_feature], axis=1)

6. 数据归一化

对于机器学习算法来说，数据的规模和范围可能会对算法的表现产生影响。因此，需要将数据进行归一化处理，将数据的范围限制在0到1之间。

from sklearn.preprocessing import MinMaxScaler

# 数据归一化
scaler = MinMaxScaler()
train_data.iloc[:,:-1] = scaler.fit_transform(train_data.iloc[:,:-1])
test_data.iloc[:,:-1] = scaler.transform(test_data.iloc[:,:-1])

7. 保存数据

将处理好的数据保存到本地文件，以便后续使用。

# 保存数据
train_data.to_csv('train_data.csv', index=False)
test_data.to_csv('test_data.csv', index=False)