CNN RNN CRNN基础

当然，我可以为您介绍一下CNN、RNN和CRNN的基础知识。

1. CNN（卷积神经网络）：
CNN是一种常用于图像处理和计算机视觉任务的深度学习模型。它通过卷积层、池化层和全连接层等组件来提取图像中的特征并进行分类或回归。CNN的核心思想是通过卷积操作来捕捉图像中的局部特征，并通过池化操作来减小特征图的尺寸和参数量。这使得CNN在处理图像数据时具有较好的效果和高效性。

2. RNN（循环神经网络）：
RNN是一种常用于序列数据处理的神经网络模型。与传统的前馈神经网络不同，RNN具有循环连接，可以在处理序列数据时保留历史信息。RNN通过时间步展开，每个时间步都接收输入和前时间步的隐藏状态，并输出当前时间步的隐藏状态和预结果。这使得RNN在处理自然语言处理（NLP）任务、语音识别等序列数据时具有优势。

3. CRNN（卷积循环神经网络）：
CRNN是将CNN和RNN结合起来的一种混合模型。它通常用于图像中的文本识别任务，可以同时捕捉图像中的局部特征和序列信息。CRNN首先通过CNN提取图像中的特征，然后将特征序列输入RNN进行序列建模，最后通过全连接层进行分类或回归。CRNN在文本识别、场景文字识别等任务中取得了较好的效果。

相关问题

CRNN torch

### 使用 PyTorch 实现 CRNN 模型

CRNN (Convolutional Recurrent Neural Network) 是一种用于序列识别任务的强大架构，在光学字符识别(OCR)等领域表现优异。下面展示如何利用 PyTorch 来构建这样一个网络。

#### 构建卷积层部分
首先定义 CNN 部分，负责提取图像特征：

import torch.nn as nn

class CRNN_CNN(nn.Module):
    def __init__(self, img_channel, output_size):
        super(CRNN_CNN, self).__init__()
        
        self.cnn = nn.Sequential(
            nn.Conv2d(img_channel, 64, kernel_size=3, stride=1, padding=1),
            nn.ReLU(True), 
            nn.MaxPool2d(kernel_size=2, stride=2),

            nn.Conv2d(64, 128, kernel_size=3, stride=1, padding=1),
            nn.ReLU(True),
            nn.MaxPool2d(kernel_size=2, stride=2),

            nn.Conv2d(128, 256, kernel_size=3, stride=1, padding=1),
            nn.BatchNorm2d(256),
            nn.ReLU(True),

            nn.Conv2d(256, 256, kernel_size=3, stride=1, padding=1),
            nn.ReLU(True),
            nn.MaxPool2d((2, 2), (2, 1), (0, 1)),

            nn.Conv2d(256, 512, kernel_size=3, stride=1, padding=1),
            nn.BatchNorm2d(512),
            nn.ReLU(True),

            nn.Conv2d(512, 512, kernel_size=3, stride=1, padding=1),
            nn.ReLU(True),
            nn.MaxPool2d((2, 2), (2, 1), (0, 1)),
            
            nn.AdaptiveAvgPool2d(output_size=(None,output_size))
        )

    def forward(self, input):
        conv = self.cnn(input)
        b, c, h, w = conv.size()
        assert h == 1, "the height of conv must be 1"
        conv = conv.squeeze(2) # remove h dimension, [b, c, w] => [b,c,h*w]
        conv = conv.permute(2, 0, 1) #[seq_len,batch_size,num_classes]
        return conv

此代码创建了一个多层CNN结构，它接受输入图片并输出一系列特征向量[^3]。

#### 添加循环神经网络(RNN)组件
接着是 RNN 层的设计，通常采用双向 LSTM 或 GRU 单元来处理由 CNN 提取出来的特征序列:

class BidirectionalLSTM(nn.Module):

    def __init__(self, nIn, nHidden, nOut):
        super(BidirectionalLSTM, self).__init__()

        self.rnn = nn.LSTM(nIn, nHidden, bidirectional=True)
        self.embedding = nn.Linear(nHidden * 2, nOut)

    def forward(self, input):
        recurrent, _ = self.rnn(input)
        T, b, h = recurrent.size()
        t_rec = recurrent.view(T * b, h)

        output = self.embedding(t_rec)  # [T * b, nOut]
        output = output.view(T, b, -1)

        return output

这部分实现了双向 LSTM 结构，可以更好地捕捉时间维度上的依赖关系。

#### 完整的 CRNN 类
最后组合上述两部分形成完整的 CRNN 模型类：

class CRNN(nn.Module):

    def __init__(self, imgH, nc, nclass, nh, leakyRelu=False):
        super(CRNN, self).__init__()
        assert imgH % 16 == 0, 'imgH has to be a multiple of 16'

        ks = [3, 3, 3, 3, 3, 3, 2]
        ps = [1, 1, 1, 1, 1, 1, 0]
        ss = [1, 1, 1, 1, 1, 1, 1]
        nm = [64, 128, 256, 256, 512, 512, 512]

        cnn_kwargs = {'leakyRelu': leakyRelu}
        self.cnn = CRNN_CNN(nc, imgH//16-1)
        self.rnn = nn.Sequential(
            BidirectionalLSTM(512, nh, nh),
            BidirectionalLSTM(nh, nh, nclass))

    def forward(self, input):
        # conv features
        conv = self.cnn(input)

        # rnn features
        logits = self.rnn(conv)

        return logits

这段代码完成了整个 CRNN 的搭建工作，其中包含了前面提到的 CNN 和 RNN 组件，并设置了合适的参数配置。

paddleocr CRNN

PaddleOCR中的CRNN是一种将CNN和RNN网络结合起来的模型，用于对不定长的文本序列进行识别。它的网络结构包含三个部分：CNN（卷积层）、RNN（循环层）和CTC loss（转录层）。CNN用于提取输入图像的特征，得到特征图；RNN使用双向LSTM对特征序列进行预测，输出预测标签分布；CTC loss将从循环层获取的一系列标签分布转换成最终的标签序列。CRNN还引入了Batch Normalization模块，加速模型收敛，缩短训练过程。整个CRNN网络结构的输入是灰度图像，高度为32，宽度为160，经过CNN后得到512个特征图，每个特征图的高度为1，宽度为40。RNN使用LSTM来捕获长距离依赖，采用双向LSTM网络来获取两个方向的上下文信息。最后，CTC loss用于将RNN的预测转换成标签序列。通过CRNN模型，可以实现对文本序列的端到端识别。\[1\]\[2\]\[3\]
#### 引用[.reference_title]
- *1* *2* *3* [Week3：CRNN文本识别](https://blog.csdn.net/weixin_45873017/article/details/120814531)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insert_down28v1,239^v3^insert_chatgpt"}} ] [.reference_item]
[ .reference_list ]