bert情感分析和bilsem

### BERT与BiLSTM用于情感分析的对比

#### BERT在情感分析中的应用
BERT通过大规模无监督预训练，在自然语言处理领域取得了显著成果。其核心在于利用Masked Language Model (MLM) 和 Next Sentence Prediction (NSP)，其中15% 的 token 被随机替换、保持原样或置为[MASK]标记，以此来学习上下文关系[^2]。

对于情感分析任务而言，BERT能够捕捉复杂的语义结构以及长距离依赖关系，这使得它在理解句子层面的情感倾向方面表现出色。然而值得注意的是，尽管BERT及其变体在学术研究中表现优异，但在实际工程项目部署时可能存在成本效益不高的情况[^4]。

#### BiLSTM在情感分析的应用
相比之下，双向长短时记忆网络(BiLSTM)是一种经典的序列建模方法，特别适合于处理具有时间顺序特征的数据集。该模型由前向和反向两个方向上的LSTM单元组成，可以有效地获取输入序列两端的信息，并且参数量相对较少，易于实现快速推理过程。

当应用于情感分类场景下时，BiLSTM能较好地提取局部语法模式并识别简单的情绪表达形式；不过由于缺乏全局视角下的深层次表征能力，因此可能无法像BERT那样精准地区分细微差别较大的情绪类别。

#### 使用BERT进行情感分析的方法
为了使用BERT执行情感分析工作流通常遵循如下流程：

from transformers import BertTokenizer, BertForSequenceClassification
import torch

tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
model = BertForSequenceClassification.from_pretrained('bert-base-uncased')

def bert_sentiment_analysis(text):
    inputs = tokenizer(text, return_tensors="pt", padding=True, truncation=True)
    outputs = model(**inputs)[0]
    prediction = torch.argmax(outputs).item()
    
    return "Positive" if prediction == 1 else "Negative"

这段代码展示了如何加载预训练好的BERT模型并对给定文本实施二元情感预测操作。

#### 使用BiLSTM进行情感分析的方法
而对于采用BiLSTM架构来说，则需先准备好词嵌入矩阵（如GloVe），再构建相应的神经网络层：

import numpy as np
from keras.models import Sequential
from keras.layers import Embedding, LSTM, Dense, Bidirectional

embedding_matrix = ... # 加载预先计算好单词向量组成的矩阵
vocab_size = embedding_matrix.shape[0]

bilstm_model = Sequential([
    Embedding(input_dim=vocab_size,
              output_dim=300,
              weights=[embedding_matrix],
              input_length=max_seq_len),
    Bidirectional(LSTM(64)),
    Dense(1, activation='sigmoid')])

bilstm_model.compile(optimizer='adam', loss='binary_crossentropy', metrics=['accuracy'])

此部分定义了一个简单的Keras风格BiLSTM模型配置，可用于后续训练阶段。