深度学习相关的算法公式
时间: 2023-11-18 09:34:14 浏览: 37
深度学习相关的算法公式非常多,下面列举几个常见的:
1. Logistic Regression(逻辑回归)公式:
$$h_{\theta}(x) = \frac{1}{1 + e^{-\theta^Tx}}$$
2. Feedforward Neural Network(前馈神经网络)公式:
$$a_1 = g(z_1)$$
$$z_2 = \theta_1a_1 + b_1$$
$$a_2 = g(z_2)$$
$$z_3 = \theta_2a_2 + b_2$$
$$a_3 = g(z_3)$$
其中,$g$为激活函数。
3. Convolutional Neural Network(卷积神经网络)中的卷积操作公式:
$$(f*g)(i,j) = \sum_{k=-\infty}^{\infty}\sum_{l=-\infty}^{\infty}f(k,l)g(i-k,j-l)$$
其中,$f$表示输入特征图,$g$表示卷积核。
4. Recurrent Neural Network(循环神经网络)中的LSTM(长短时记忆)公式:
$$i_t = \sigma(W_{xi}x_t + W_{hi}h_{t-1} + W_{ci}c_{t-1} + b_i)$$
$$f_t = \sigma(W_{xf}x_t + W_{hf}h_{t-1} + W_{cf}c_{t-1} + b_f)$$
$$c_t = f_tc_{t-1} + i_t\text{tanh}(W_{xc}x_t + W_{hc}h_{t-1} + b_c)$$
$$o_t = \sigma(W_{xo}x_t + W_{ho}h_{t-1} + W_{co}c_t + b_o)$$
$$h_t = o_t\text{tanh}(c_t)$$
其中,$i_t$、$f_t$、$c_t$、$o_t$分别表示输入门、遗忘门、记忆细胞和输出门。$\sigma$为sigmoid函数,$\text{tanh}$为双曲正切函数。$W$和$b$为参数。