使用循环神经网络进行文本分类的python代码
时间: 2023-07-27 13:06:09 浏览: 109
下面是一个使用循环神经网络进行文本分类的Python代码示例,其中使用了Keras库来构建循环神经网络模型:
```python
import numpy as np
from keras.models import Sequential
from keras.layers import Dense, LSTM, Embedding
from keras.preprocessing.text import Tokenizer
from keras.preprocessing.sequence import pad_sequences
from sklearn.model_selection import train_test_split
# 读取文本数据
with open('text.txt', 'r') as f:
texts = f.readlines()
# 将文本转换为序列
tokenizer = Tokenizer()
tokenizer.fit_on_texts(texts)
sequences = tokenizer.texts_to_sequences(texts)
# 对序列进行填充,使它们具有相同的长度
max_length = max([len(seq) for seq in sequences])
sequences = pad_sequences(sequences, maxlen=max_length)
# 将标签转换为独热编码
labels = np.array([0 if 'negative' in text else 1 for text in texts])
labels = np.eye(2)[labels]
# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(sequences, labels, test_size=0.2, random_state=42)
# 构建循环神经网络模型
model = Sequential()
model.add(Embedding(input_dim=len(tokenizer.word_index)+1, output_dim=64, input_length=max_length))
model.add(LSTM(units=64))
model.add(Dense(units=2, activation='softmax'))
# 编译模型
model.compile(loss='categorical_crossentropy', optimizer='adam', metrics=['accuracy'])
# 训练模型
model.fit(X_train, y_train, epochs=10, batch_size=32, validation_data=(X_test, y_test))
```
在这个示例中,我们首先读取了一个文本文件,然后使用Keras的Tokenizer将其转换为序列。接着,我们使用pad_sequences函数对序列进行填充,使它们具有相同的长度。然后,我们将标签转换为独热编码,并使用train_test_split函数将数据划分为训练集和测试集。
接下来,我们构建了一个包含一个嵌入层、一个LSTM层和一个全连接层的循环神经网络模型,并使用compile函数对其进行编译。最后,我们使用fit函数对模型进行训练,并在训练过程中使用validation_data参数来进行验证。
阅读全文