深度信念网络分类算法python程序.docx_深度信念网络python

需积分: 45 144 浏览量更新于2023-03-03 评论 9 收藏 37KB DOCX 举报

身份认证购VIP最低享 7 折!

领优惠券(最高得80元）

资源详情

资源评论

资源推荐

Utils.py:

'''

Created on 2020

年

月

日

@author:

紫薇星君

'''

import numpy

numpy.seterr(all='ignore')

def sigmoid(x):

return 1. / (1 + numpy.exp(-x))

def dsigmoid(x):

return x * (1. - x)

def tanh(x):

return numpy.tanh(x)

def dtanh(x):

return 1. - x * x

def softmax(x):

e = numpy.exp(x - numpy.max(x)) # prevent overflow

if e.ndim == 1:

return e / numpy.sum(e, axis=0)

else:

return e / numpy.array([numpy.sum(e, axis=1)]).T # ndim = 2

def ReLU(x):

return x * (x > 0)

def dReLU(x):

return 1. * (x > 0)

# # probability density for the Gaussian dist

# def gaussian(x, mean=0.0, scale=1.0):

# s = 2 * numpy.power(scale, 2)

# e = numpy.exp( - numpy.power((x - mean), 2) / s )

# return e / numpy.square(numpy.pi * s)

dA.py:

'''

Created on 2020

年

月

日

@author:

紫薇星君

'''

import sys

import numpy

from utils import *

class dA(object):# 消噪自动编码器

#input 为训练集， n_visible 可见层单元数, n_hidden 隐层单元数,W 连接权值, hbias

隐层偏置, vbias

可见层偏置,

rng

随机种子

def __init__(self, input=None, n_visible=2, n_hidden=3,W=None, hbias=None, vbias=None, rng=None):

self.n_visible = n_visible # 可见层单元数

self.n_hidden = n_hidden # 隐层单元数

if rng is None:

rng = numpy.random.RandomState(1234) #建立随机数种子

if W is None:

a = 1. / n_visible

#initial_W 是 n_visible 行，n_hidden 列，每个元素最小-a，最大 a 的随机数

W = numpy.array(rng.uniform(low=-a,high=a,size=(n_visible, n_hidden)))

if hbias is None: #初始化隐层偏置，统一为 0

hbias = numpy.zeros(n_hidden) # initialize h bias 0

if vbias is None: #初始化可见层偏置，统一为 0

vbias = numpy.zeros(n_visible) # initialize v bias 0

self.rng = rng

self.x = input

self.W = W

self.W_prime = self.W.T

self.hbias = hbias

self.vbias = vbias

return

def get_corrupted_input(self, input, corruption_level):

#corruption_level 噪声百分比,此函数使输入的“1-损坏级别”项保持不变，并将随机选择的大小子集“损坏级别”归

零

assert corruption_level < 1

return self.rng.binomial(size=input.shape,n=1,p=1-corruption_level) * input

# Encode

def get_hidden_values(self, input): #计算隐藏层的值

return sigmoid(numpy.dot(input, self.W) + self.hbias)

# Decode

def get_reconstructed_input(self, hidden): #根据隐藏层的值计算重建的输入

return sigmoid(numpy.dot(hidden, self.W_prime) + self.vbias)

def train(self, lr=0.1, corruption_level=0.3, input=None): #此函数计算 dA 的一个训练步骤的成本和更新

if input is not None:

self.x = input

x = self.x

tilde_x = self.get_corrupted_input(x, corruption_level) #增加 corruption_level 噪音的随机采样作为输入

y = self.get_hidden_values(tilde_x) #计算隐层输出

z = self.get_reconstructed_input(y) #以隐层输出计算重构输入

L_h2 = x - z #可见层的误差

L_h1 = numpy.dot(L_h2, self.W) * y * (1 - y) #隐层误差

L_vbias = L_h2

L_hbias = L_h1

L_W = numpy.dot(tilde_x.T, L_h1) + numpy.dot(L_h2.T, y)

self.W += lr * L_W #权值改变

self.hbias += lr * numpy.mean(L_hbias, axis=0) #隐层偏置改变

self.vbias += lr * numpy.mean(L_vbias, axis=0) #可见层偏置改变

def negative_log_likelihood(self, corruption_level=0.3): #计算重构误差

tilde_x = self.get_corrupted_input(self.x, corruption_level)

y = self.get_hidden_values(tilde_x)

z = self.get_reconstructed_input(y)

cross_entropy = - numpy.mean( numpy.sum(self.x * numpy.log(z) + (1 - self.x) * numpy.log(1 - z),axis=1))

return cross_entropy

def reconstruct(self, x): #重构输出

y = self.get_hidden_values(x) #隐层输出计算

z = self.get_reconstructed_input(y) #可见层重构计算

return z

def test_dA(learning_rate=0.1, corruption_level=0.3, training_epochs=50):

data = numpy.array([[1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0],

[1, 0, 1, 1, 1, 1, 1, 1, 1, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0],

[1, 1, 0, 1, 1, 1, 1, 1, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0],

[1, 1, 1, 1, 0, 0, 1, 1, 1, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0],

[0, 1, 1, 1, 1, 1, 1, 1, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0],

[0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1],

[0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 1, 1, 1, 1, 1, 1, 1, 1],

[0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 1, 0, 1, 1, 1, 1, 1, 0, 1],

[0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 1, 1, 1, 0, 0, 1, 1, 1, 1],

[0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 1, 1, 1, 1, 1, 1, 1, 0]])

rng = numpy.random.RandomState(123)

# construct dA

da = dA(input=data, n_visible=20, n_hidden=5, rng=rng)

# train

for epoch in range(training_epochs):

da.train(lr=learning_rate, corruption_level=corruption_level)

# cost = da.negative_log_likelihood(corruption_level=corruption_level)

# print >> sys.stderr, 'Training epoch %d, cost is ' % epoch, cost

# learning_rate *= 0.95

# test

x = numpy.array([[1, 0, 1, 0, 0, 0, 1, 0, 1, 1, 0, 0, 0, 0, 0, 0, 0, 1, 0, 1],

[0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 1, 1, 0, 1, 0, 0, 1, 1, 0]])

print (da.reconstruct(x))

if __name__ == "__main__":

test_dA()

HiddenLayer.py

'''

剩余15页未读，继续阅读

紫薇大帝

粉丝: 33
资源: 8

会员权益专享

深度信念网络分类算法python程序.docx

评论0

会员权益专享

最新资源

深度信念网络分类算法python程序.docx

评论0

python深度信念网实现

基于Python的深度信念网络程序

python DBN代码

使用python将xx文件夹下的.sv文件复制到mode.docx文件并另存为.sv文件名的.docx文件

两个docx文档，1.docx和2.docx，需要将1.docx文档中的页眉页脚复制到2.docx，用java编写，使用开源jar包，比如poi，poi-tl，docx4j等等，请注意验证你提供的代码中的方法，麻烦给我源码。

python怎么打开.docx文件

将每个子文件夹里的.docx文件都合成一个.docx文件

将xx文件夹下的每个子文件夹里的.docx文件都合成一个.docx文件

请用python把word1.docx中指定位置的内容无格式填充到word2.docx

[('D:\\python项目\\分类分级\\test_dir\\1.docx',)]这种结构怎么取出里面的文本信息

raise PackageNotFoundError( docx.opc.exceptions.PackageNotFoundError: Package not found at 'example.docx'

使用python编写代码将一个文件夹下的所有子文件夹下的.sv文件按照文件名称为model.docx的文件格式转化为与.sv同名的.docx的文件，页眉写上该.SV文件的名称

用python编写一个小程序，实现需求： 1、只输出模板.docx的文本框的内容

python 将text文件如何转换为.docx文件

写一个提取.docx文档首行内容并以此重命名该文档程序

两个docx文档，1.docx和2.docx，需要将1.docx文档中的页眉页脚同步到2.docx，用java编写，使用开源jar包，比如poi，poi-tl，docx4j等等，麻烦给我源码

用python编写一个小程序，实现需求： 1、修改模板.docx的控制表格内容

使用python去除xxwe文件夹及其子文件夹下的.docx文件中的空行

写一个提取.docx文档首行内容并以此重命名该文档的程序

会员权益专享

最新资源