def get_html(): htmlist='' for num in range(0,3): url="https://db.idrblab.net/ttd/search/ttd/target?search_api_fulltext=alzheimer&page="+str(num) html=get_page(url) time.sleep(1) htmlist+=html return htmlist

时间: 2024-04-01 20:32:08 浏览: 11
这段代码的作用是获取一个网站上多页的HTML内容,并将这些HTML内容拼接成一个字符串。具体实现过程是,循环3次,每次构造一个新的URL,调用get_page函数获取该URL对应的HTML内容,并将内容拼接到htmlist字符串变量中。最终,返回拼接后的htmlist字符串。在循环内部使用time.sleep(1)语句是为了防止频繁请求该网站被封IP。
相关问题

解析下列代码的含义:def create_task_url(): lists = ['https://www.dingdian.info/sort/{}/1000000/'.format(types) for types in range(1, 9)] for url in lists: type_num = url.split('/')[-3] source = requests.get(url).text op = etree.HTML(source).xpath('//option/text()')[-1] demo = re.compile('\d+') max_page = demo.findall(op)[0] for page in range(1, int(max_page) + 1): every_page_url = 'https://www.dingdian.info/sort/{}/{}/'.format(type_num, page) every_page_source = requests.get(every_page_url).text chapter_urls = etree.HTML(every_page_source).xpath('//*[@id="newscontent"]/div[1]/ul/li/span[2]/a/@href') for chapter_url in chapter_urls: mysql_db.insert_tasks( 'https://www.dingdian.info'+chapter_url)

这是一个函数,函数名为 create_task_url,没有参数。 函数的作用是爬取一个小说网站(https://www.dingdian.info/)中的所有小说章节,并将章节的 URL 存入到 MySQL 数据库中。 具体的流程如下: 1.首先创建一个列表 lists,其中每个元素都是一个小说分类的 URL(https://www.dingdian.info/sort/{分类号}/1000000/),其中分类号从1到8。 2.遍历 lists 列表中的每个 URL,解析出分类号 type_num,并使用 requests 库的 get 方法请求该 URL,将返回的文本内容存入 source 变量中。 3.使用 lxml 库的 etree 模块将 HTML 的文本内容解析成树形结构,并使用 xpath 方法获取网页中最后一个 option 标签的文本内容,并使用正则表达式提取出其中的数字,得到该分类下小说的总页数 max_page。 4.接下来遍历该分类下的每一页,解析出每一页的 URL(https://www.dingdian.info/sort/{分类号}/{页码}/),并使用 requests 库的 get 方法请求该 URL,将返回的文本内容存入 every_page_source 变量中。 5.使用 xpath 方法获取每一页中所有小说章节的 URL,存入 chapter_urls 变量中。 6.遍历 chapter_urls 列表中的每个章节 URL,将其存入 MySQL 数据库中,其中章节 URL 为 'https://www.dingdian.info'+chapter_url。

怎么用python将下面代码中的dw,db改为私有属性import numpy as npimport matplotlib.pyplot as pltfrom HelperClass.DataReader_1_0 import *file_name = "../../data/ch04.npz"class NeuralNet_0_1(object): def __init__(self, eta): self.eta = eta self.w = 0 self.b = 0 def __forward(self, x): z = x * self.w + self.b return z def __backward(self, x,y,z): dz = z - y db = dz dw = x * dz return dw, db def __update(self, dw, db): self.w = self.w - self.eta * dw self.b = self.b - self.eta * db def train(self, dataReader): for i in range(dataReader.num_train): # get x and y value for one sample x,y = dataReader.GetSingleTrainSample(i) # get z from x,y z = self.__forward(x) # calculate gradient of w and b dw, db = self.__backward(x, y, z) # update w,b self.__update(dw, db) # end for def inference(self, x): return self.__forward(x)# end classdef ShowResult(net, dataReader): X,Y = dataReader.GetWholeTrainSamples() # draw sample data plt.plot(X, Y, "b.") # draw predication data PX = np.linspace(0,1,10) PZ = net.inference(PX) plt.plot(PX, PZ, "r") plt.title("Air Conditioner Power") plt.xlabel("Number of Servers(K)") plt.ylabel("Power of Air Conditioner(KW)") plt.show()if __name__ == '__main__': # read data sdr = DataReader_1_0(file_name) sdr.ReadData() # create net eta = 0.1 net = NeuralNet_0_1(eta) net.train(sdr) # result print("w=%f,b=%f" %(net.w, net.b)) # predication result = net.inference(1.346) print("result=", result) ShowResult(net, sdr)

将dw和db改为私有属性可以在它们的变量名前加上两个下划线"__",即将dw改为__dw,将db改为__db。修改后的代码如下: import numpy as np import matplotlib.pyplot as plt from HelperClass.DataReader_1_0 import * file_name = "../../data/ch04.npz" class NeuralNet_0_1(object): def __init__(self, eta): self.eta = eta self.w = 0 self.b = 0 self.__dw = 0 self.__db = 0 def __forward(self, x): z = x * self.w + self.b return z def __backward(self, x, y, z): dz = z - y self.__db = dz self.__dw = x * dz return self.__dw, self.__db def __update(self): self.w = self.w - self.eta * self.__dw self.b = self.b - self.eta * self.__db def train(self, dataReader): for i in range(dataReader.num_train): x, y = dataReader.GetBatchTrainSamples(1) z = self.__forward(x) dw, db = self.__backward(x, y, z) self.__update()

相关推荐

import pandas as pd import numpy as np from sklearn.cluster import DBSCAN from sklearn import metrics from sklearn.cluster import KMeans import os def dbscan(input_file): ## 纬度在前,经度在后 [latitude, longitude] columns = ['lat', 'lon'] in_df = pd.read_csv(input_file, sep=',', header=None, names=columns) # represent GPS points as (lat, lon) coords = in_df.as_matrix(columns=['lat', 'lon']) # earth's radius in km kms_per_radian = 6371.0086 # define epsilon as 0.5 kilometers, converted to radians for use by haversine # This uses the 'haversine' formula to calculate the great-circle distance between two points # that is, the shortest distance over the earth's surface # http://www.movable-type.co.uk/scripts/latlong.html epsilon = 0.5 / kms_per_radian # radians() Convert angles from degrees to radians db = DBSCAN(eps=epsilon, min_samples=15, algorithm='ball_tree', metric='haversine').fit(np.radians(coords)) cluster_labels = db.labels_ # get the number of clusters (ignore noisy samples which are given the label -1) num_clusters = len(set(cluster_labels) - set([-1])) print('Clustered ' + str(len(in_df)) + ' points to ' + str(num_clusters) + ' clusters') # turn the clusters in to a pandas series # clusters = pd.Series([coords[cluster_labels == n] for n in range(num_clusters)]) # print(clusters) kmeans = KMeans(n_clusters=1, n_init=1, max_iter=20, random_state=20) for n in range(num_clusters): # print('Cluster ', n, ' all samples:') one_cluster = coords[cluster_labels == n] # print(one_cluster[:1]) # clist = one_cluster.tolist() # print(clist[0]) kk = kmeans.fit(one_cluster) print(kk.cluster_centers_) def main(): path = './datas' filelist = os.listdir(path) for f in filelist: datafile = os.path.join(path, f) print(datafile) dbscan(datafile) if __name__ == '__main__': main()

def show_query1_result(self): # 查询数据 db = pymysql.connect(host='39.99.214.172', user='root', password='Solotion.123', db='jj_tset') cursor = db.cursor() db_sql = """ SELECT *,salary + weight_reward total_salary from ( SELECT a.user_id,user_name,get_time,get_kg,efficiency,CONCAT(ROUND(ROUND(yield_rate,4) * 100,2),'%') yield_rate,ROUND(get_kg * 2 * price,1) salary,CASE WHEN yield_rate > 0.64 and get_kg < 40 THEN kg1_price WHEN yield_rate > 0.64 and get_kg < 50 THEN kg2_price WHEN yield_rate > 0.64 and get_kg >= 50 THEN kg3_price WHEN yield_rate < 0.64 THEN 0 END as weight_reward FROM (SELECT user_id, DATE_FORMAT(get_time,'%Y-%m-%d') get_time, SUM(get_kg) get_kg,round(SUM(get_kg)/(SUM(duration_time)/3600),2) efficiency,AVG(yield_rate) yield_rate FROM em_salary WHERE DATE_FORMAT(get_time,'%Y-%m-%d') = DATE_FORMAT(DATE_SUB(NOW(),INTERVAL 0 DAY),'%Y-%m-%d') and recycle_kg IS NOT NULL GROUP BY user_id, DATE_FORMAT(get_time,'%Y-%m-%d')) a LEFT JOIN (SELECT user_id,name as user_name,price,kg1_price,kg2_price,kg3_price,yield_price FROM employee_table CROSS JOIN price_data ) d on a.user_id = d.user_id ) T """ cursor.execute(db_sql) result = cursor.fetchall() db.close() if len(result) == 0: QMessageBox.information(self, "提示", "今日无员工工资记录") return # 清空表格 self.query1_window.table_widget.setRowCount(0) self.query1_window.table_widget.setColumnCount(len(result[0])) self.query1_window.table_widget.setHorizontalHeaderLabels( ["员工ID", "员工姓名", "日期", "领取鸡爪重量(KG)", "效率(每小时KG)", "出成率", "基础工资", "重量奖励", "当日总工资"]) # 添加数据到表格 for row_num, row_data in enumerate(result): self.query1_window.table_widget.insertRow(row_num) for col_num, col_data in enumerate(row_data): self.query1_window.table_widget.setItem(row_num, col_num, QTableWidgetItem(str(col_data))) # 显示窗口 self.query1_window.show()能不能在最后一列显示当日总工资汇总

最新推荐

recommend-type

Python优秀项目 基于Flask+Markdown实现的生成app官方网站源码+部署文档+数据资料.zip

CSDN IT狂飙上传的代码均可运行,功能ok的情况下才上传的,直接替换数据即可使用,小白也能轻松上手 【资源说明】 Python优秀项目 基于Flask+Markdown实现的生成app官方网站源码+部署文档+数据资料.zip 1、代码压缩包内容 代码的项目文件 部署文档文件 2、代码运行版本 python3.7或者3.7以上的版本;若运行有误,根据提示GPT修改;若不会,私信博主(问题描述要详细) 3、运行操作步骤 步骤一:将代码的项目目录使用IDEA打开(IDEA要配置好python环境) 步骤二:根据部署文档或运行提示安装项目所需的库 步骤三:IDEA点击运行,等待程序服务启动完成 4、python资讯 如需要其他python项目的定制服务,可后台私信博主(注明你的项目需求) 4.1 python或人工智能项目辅导 4.2 python或人工智能程序定制 4.3 python科研合作 Django、Flask、Pytorch、Scrapy、PyQt、爬虫、可视化、大数据、推荐系统、人工智能、大模型
recommend-type

用Go编写的Express启发web框架.zip

用Go编写的Express启发web框架
recommend-type

QJ 3173-2003 航天电子电气产品再流焊接技术要求.rar

QJ 3173-2003 航天电子电气产品再流焊接技术要求.rar
recommend-type

zigbee-cluster-library-specification

最新的zigbee-cluster-library-specification说明文档。
recommend-type

管理建模和仿真的文件

管理Boualem Benatallah引用此版本:布阿利姆·贝纳塔拉。管理建模和仿真。约瑟夫-傅立叶大学-格勒诺布尔第一大学,1996年。法语。NNT:电话:00345357HAL ID:电话:00345357https://theses.hal.science/tel-003453572008年12月9日提交HAL是一个多学科的开放存取档案馆,用于存放和传播科学研究论文,无论它们是否被公开。论文可以来自法国或国外的教学和研究机构,也可以来自公共或私人研究中心。L’archive ouverte pluridisciplinaire
recommend-type

深入了解MATLAB开根号的最新研究和应用:获取开根号领域的最新动态

![matlab开根号](https://www.mathworks.com/discovery/image-segmentation/_jcr_content/mainParsys3/discoverysubsection_1185333930/mainParsys3/image_copy.adapt.full.medium.jpg/1712813808277.jpg) # 1. MATLAB开根号的理论基础 开根号运算在数学和科学计算中无处不在。在MATLAB中,开根号可以通过多种函数实现,包括`sqrt()`和`nthroot()`。`sqrt()`函数用于计算正实数的平方根,而`nt
recommend-type

react的函数组件的使用

React 的函数组件是一种简单的组件类型,用于定义无状态或者只读组件。 它们通常接受一个 props 对象作为参数并返回一个 React 元素。 函数组件的优点是代码简洁、易于测试和重用,并且它们使 React 应用程序的性能更加出色。 您可以使用函数组件来呈现简单的 UI 组件,例如按钮、菜单、标签或其他部件。 您还可以将它们与 React 中的其他组件类型(如类组件或 Hooks)结合使用,以实现更复杂的 UI 交互和功能。
recommend-type

JSBSim Reference Manual

JSBSim参考手册,其中包含JSBSim简介,JSBSim配置文件xml的编写语法,编程手册以及一些应用实例等。其中有部分内容还没有写完,估计有生之年很难看到完整版了,但是内容还是很有参考价值的。
recommend-type

"互动学习:行动中的多样性与论文攻读经历"

多样性她- 事实上SCI NCES你的时间表ECOLEDO C Tora SC和NCESPOUR l’Ingén学习互动,互动学习以行动为中心的强化学习学会互动,互动学习,以行动为中心的强化学习计算机科学博士论文于2021年9月28日在Villeneuve d'Asq公开支持马修·瑟林评审团主席法布里斯·勒菲弗尔阿维尼翁大学教授论文指导奥利维尔·皮耶昆谷歌研究教授:智囊团论文联合主任菲利普·普雷教授,大学。里尔/CRISTAL/因里亚报告员奥利维耶·西格德索邦大学报告员卢多维奇·德诺耶教授,Facebook /索邦大学审查员越南圣迈IMT Atlantic高级讲师邀请弗洛里安·斯特鲁布博士,Deepmind对于那些及时看到自己错误的人...3谢谢你首先,我要感谢我的两位博士生导师Olivier和Philippe。奥利维尔,"站在巨人的肩膀上"这句话对你来说完全有意义了。从科学上讲,你知道在这篇论文的(许多)错误中,你是我可以依
recommend-type

解决MATLAB开根号常见问题:提供开根号运算的解决方案

![解决MATLAB开根号常见问题:提供开根号运算的解决方案](https://img-blog.csdnimg.cn/d939d1781acc404d8c826e8af207e68f.png) # 1. MATLAB开根号运算基础** MATLAB开根号运算用于计算一个数的平方根。其语法为: ``` y = sqrt(x) ``` 其中: * `x`:要开根号的数或数组 * `y`:开根号的结果 开根号运算的输入可以是实数、复数、矩阵或数组。对于实数,开根号运算返回一个非负实数。对于复数,开根号运算返回一个复数。对于矩阵或数组,开根号运算逐元素执行,对每个元素进行开根号运算。 #