LSTM 语言模型python代码

以下是使用Python和Keras实现LSTM语言模型的示例代码：

from keras.models import Sequential
from keras.layers import Dense, LSTM, Dropout
from keras.utils import np_utils
from keras.callbacks import ModelCheckpoint
import numpy as np

# 读取文本文件
filename = "text.txt"
raw_text = open(filename).read().lower()

# 创建字符到整数的映射
chars = sorted(list(set(raw_text)))
char_to_int = dict((c, i) for i, c in enumerate(chars))

# 统计总共有多少个字符和字母
n_chars = len(raw_text)
n_vocab = len(chars)
print("Total Characters: ", n_chars)
print("Total Vocab: ", n_vocab)

# 准备数据
seq_length = 100
dataX = []
dataY = []
for i in range(0, n_chars - seq_length, 1):
    seq_in = raw_text[i:i + seq_length]
    seq_out = raw_text[i + seq_length]
    dataX.append([char_to_int[char] for char in seq_in])
    dataY.append(char_to_int[seq_out])
n_patterns = len(dataX)
print("Total Patterns: ", n_patterns)

# 将输入数据转化为LSTM期望的格式
X = np.reshape(dataX, (n_patterns, seq_length, 1))
X = X / float(n_vocab)
y = np_utils.to_categorical(dataY)

# 定义 LSTM 模型
model = Sequential()
model.add(LSTM(256, input_shape=(X.shape[1], X.shape[2]), return_sequences=True))
model.add(Dropout(0.2))
model.add(LSTM(256))
model.add(Dropout(0.2))
model.add(Dense(y.shape[1], activation='softmax'))
model.compile(loss='categorical_crossentropy', optimizer='adam')

# 检查点回调
filepath="weights-improvement-{epoch:02d}-{loss:.4f}.hdf5"
checkpoint = ModelCheckpoint(filepath, monitor='loss', verbose=1, save_best_only=True, mode='min')
callbacks_list = [checkpoint]

# 训练模型
model.fit(X, y, epochs=20, batch_size=128, callbacks=callbacks_list)

以上代码中，我们首先读取文本文件，将每个字符映射为一个整数，然后准备数据并将其转换为LSTM期望的格式。接下来，我们定义了一个包含两个LSTM层和一个全连接层的模型，并使用softmax激活函数进行分类。我们使用categorical_crossentropy作为损失函数，并使用Adam优化器进行训练。最后，我们使用ModelCheckpoint回调来保存训练过程中的最佳模型。