优化这段代码 for p in range(1,1190): try: # print(browser.page_source) # 输出网页源码 time.sleep(1) html = etree.HTML(browser.page_source) content_html = html.xpath('//div[@class="table-responsive"]/table/tbody[@class="data-table"]/tr') for html_ in content_html: No_id = html_.xpath('.//td[2]/text()') url2_list = html_.xpath('.//td[3]/div/text()') url2_list = url2_list[0].replace('www.', '').rstrip('/') # url2_list=url2_list[0].replace('https://www.','').replace('http://www.','').replace('https://','').replace('http://','').rstrip('/') # language_list=html_.xpath('.//div[@class="table__summary table__summary--inventory-verified"]/div[12]/div/text()') category_list = html_.xpath('.//td[4]/div/div/div[1]/span/text()') category_list = '、'.join(category_list) # category_list='、'.join(category_list) # 提供者数量 performer_list = html_.xpath('.//td[10]/text()') performer_list = '$' + performer_list[0] last = [p,No_id[0], '', 'globexportal.net', url2_list, '', '', category_list, '', '平台', performer_list] print(last) with open('globexportal.net.1.csv', 'a+', newline='', encoding='utf_8_sig') as fp: writer = csv.writer(fp) writer.writerow(last) pyautogui.scroll(-40, x=960, y=720) except Exception as e: print(str(e))

时间: 2024-04-19 22:24:28 浏览: 15
根据您提供的代码片段,可以对其进行一些优化。首先,可以将文件写入操作放在循环之外,减少频繁的文件写入操作。另外,可以使用更简洁的方法来处理XPath选择器的结果。以下是优化后的代码: ```python import csv import time from selenium import webdriver from selenium.webdriver.chrome.service import Service from selenium.webdriver.common.by import By from selenium.webdriver.chrome.options import Options from selenium.webdriver.common.action_chains import ActionChains from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC from selenium.webdriver.common.keys import Keys from lxml import etree # 创建一个Chrome浏览器实例 s = Service('path/to/chromedriver') # 将路径替换为你的chromedriver路径 chrome_options = Options() chrome_options.add_argument('--headless') # 设置为无界面模式 browser = webdriver.Chrome(service=s, options=chrome_options) # 打开登录页面,登录 for p in range(1, 1190): try: time.sleep(1) html = etree.HTML(browser.page_source) content_html = html.xpath('//div[@class="table-responsive"]/table/tbody[@class="data-table"]/tr') result = [] for html_ in content_html: No_id = html_.xpath('.//td[2]/text()')[0] url2_list = html_.xpath('.//td[3]/div/text()')[0].replace('www.', '').rstrip('/') category_list = '、'.join(html_.xpath('.//td[4]/div/div/div[1]/span/text()')) performer_list = '$' + html_.xpath('.//td[10]/text()')[0] last = [p, No_id, '', 'globexportal.net', url2_list, '', '', category_list, '', '平台', performer_list] result.append(last) print(last) with open('globexportal.net.1.csv', 'a+', newline='', encoding='utf_8_sig') as fp: writer = csv.writer(fp) writer.writerows(result) # 模拟滚动 actions = ActionChains(browser) actions.move_by_offset(960, 720).perform() actions.send_keys(Keys.PAGE_DOWN).perform() actions.reset_actions() except Exception as e: print(str(e)) # 关闭浏览器 browser.quit() ``` 在优化后的代码中,使用XPath选择器时,直接使用索引来获取结果列表中的第一个元素,避免了使用变量并进行多余的操作。另外,将需要写入CSV文件的数据存储在一个列表中,然后一次性写入文件,减少了频繁的文件写入操作。 请确保已经正确导入所需的模块,并根据您的实际情况进行适当的调整和修改。另外,需要注意根据您的实际需求进行Chrome浏览器实例的配置,如使用无界面模式等。

相关推荐

from selenium import webdriver from selenium.webdriver.chrome.options import Options from bs4 import BeautifulSoup import time # 目标网站的 URL url = 'http://example.com/rank/list' # Chrome 浏览器配置 chrome_options = Options() chrome_options.add_argument('--disable-extensions') chrome_options.add_argument('--disable-gpu') chrome_options.add_argument('--no-sandbox') chrome_options.add_argument('--headless') chrome_options.add_argument('--disable-dev-shm-usage') # 启动 Chrome 浏览器 browser = webdriver.Chrome(options=chrome_options) # 发起第一页的请求并解析 HTML 标签 browser.get(url) time.sleep(3) # 等待 3 秒钟,等待 AJAX 加载完成 soup = BeautifulSoup(browser.page_source, 'html.parser') total_pages = soup.select('.ant-pagination-item:not(.ant-pagination-next):not(.ant-pagination-prev)')[-1]['title'] current_page = soup.select_one('.ant-pagination-item-active').text rank_list = parse_page(soup) # 发起所有页码的请求,并将结果存入列表中 for page in range(2, int(total_pages) + 1): if str(page) != current_page: # 模拟在浏览器中翻页操作 browser.execute_script(f'window.antDesignPro.current.delete("/rank/list?page={int(current_page)}")') # 删除当前页的数据 browser.execute_script(f'window.antDesignPro.current.jump("/rank/list?page={page}")') # 跳转到需要打开的页码 time.sleep(3) # 等待 3 秒钟,等待 AJAX 加载完成 soup = BeautifulSoup(browser.page_source, 'html.parser') page_data = parse_page(soup) rank_list += page_data current_page = page # 将所有分页数据合并成一个完整的 DataFrame 对象 all_data = merge_data(rank_list) # 关闭浏览器窗口 browser.quit() # 打印输出结果 print(all_data),注意:目标网站采用了 AJAX 或者 JavaScript 技术来进行分页加载数据,因此翻页时并没有刷新整个页面,也无法从html文本获得第一页以后的排名帮我修改代码,要求用到request和beautifulsoup等库,

最新推荐

recommend-type

钢桁架结构振动特性渐变分析工具

钢桁架结构振动特性渐变分析工具
recommend-type

数据库实战-收集一些常见的 MySQL 死锁案例.zip

数据库实战-收集一些常见的 MySQL 死锁案例.zip 数据库实战-收集一些常见的 MySQL 死锁案例.zip 在工作过程中偶尔会遇到死锁问题,虽然这种问题遇到的概率不大,但每次遇到的时候要想彻底弄懂其原理并找到解决方案却并不容易。这个项目收集了一些常见的 MySQL 死锁案例,大多数案例都来源于网络,并对其进行分类汇总,试图通过死锁日志分析出每种死锁的原因,还原出死锁现场。 实际上,我们在定位死锁问题时,不仅应该对死锁日志进行分析,还应该结合具体的业务代码,或者根据 binlog,理出每个事务执行的 SQL 语句。
recommend-type

Android的移动应用与php服务器交互实例源码.rar

Android的移动应用与php服务器交互实例源码.rar
recommend-type

【滤波跟踪】基于matlab平方根容积卡尔曼滤波机器人手臂运动跟踪【含Matlab源码 4540期】.mp4

Matlab研究室上传的视频均有对应的完整代码,皆可运行,亲测可用,适合小白; 1、代码压缩包内容 主函数:main.m; 调用函数:其他m文件;无需运行 运行结果效果图; 2、代码运行版本 Matlab 2019b;若运行有误,根据提示修改;若不会,私信博主; 3、运行操作步骤 步骤一:将所有文件放到Matlab的当前文件夹中; 步骤二:双击打开main.m文件; 步骤三:点击运行,等程序运行完得到结果; 4、仿真咨询 如需其他服务,可私信博主或扫描视频QQ名片; 4.1 博客或资源的完整代码提供 4.2 期刊或参考文献复现 4.3 Matlab程序定制 4.4 科研合作
recommend-type

zigbee-cluster-library-specification

最新的zigbee-cluster-library-specification说明文档。
recommend-type

管理建模和仿真的文件

管理Boualem Benatallah引用此版本:布阿利姆·贝纳塔拉。管理建模和仿真。约瑟夫-傅立叶大学-格勒诺布尔第一大学,1996年。法语。NNT:电话:00345357HAL ID:电话:00345357https://theses.hal.science/tel-003453572008年12月9日提交HAL是一个多学科的开放存取档案馆,用于存放和传播科学研究论文,无论它们是否被公开。论文可以来自法国或国外的教学和研究机构,也可以来自公共或私人研究中心。L’archive ouverte pluridisciplinaire
recommend-type

实现实时数据湖架构:Kafka与Hive集成

![实现实时数据湖架构:Kafka与Hive集成](https://img-blog.csdnimg.cn/img_convert/10eb2e6972b3b6086286fc64c0b3ee41.jpeg) # 1. 实时数据湖架构概述** 实时数据湖是一种现代数据管理架构,它允许企业以低延迟的方式收集、存储和处理大量数据。与传统数据仓库不同,实时数据湖不依赖于预先定义的模式,而是采用灵活的架构,可以处理各种数据类型和格式。这种架构为企业提供了以下优势: - **实时洞察:**实时数据湖允许企业访问最新的数据,从而做出更明智的决策。 - **数据民主化:**实时数据湖使各种利益相关者都可
recommend-type

可见光定位LED及其供电硬件具体型号,广角镜头和探测器,实验设计具体流程步骤,

1. 可见光定位LED型号:一般可使用5mm或3mm的普通白色LED,也可以选择专门用于定位的LED,例如OSRAM公司的SFH 4715AS或Vishay公司的VLMU3500-385-120。 2. 供电硬件型号:可以使用常见的直流电源供电,也可以选择专门的LED驱动器,例如Meanwell公司的ELG-75-C或ELG-150-C系列。 3. 广角镜头和探测器型号:一般可采用广角透镜和CMOS摄像头或光电二极管探测器,例如Omron公司的B5W-LA或Murata公司的IRS-B210ST01。 4. 实验设计流程步骤: 1)确定实验目的和研究对象,例如车辆或机器人的定位和导航。
recommend-type

JSBSim Reference Manual

JSBSim参考手册,其中包含JSBSim简介,JSBSim配置文件xml的编写语法,编程手册以及一些应用实例等。其中有部分内容还没有写完,估计有生之年很难看到完整版了,但是内容还是很有参考价值的。
recommend-type

"互动学习:行动中的多样性与论文攻读经历"

多样性她- 事实上SCI NCES你的时间表ECOLEDO C Tora SC和NCESPOUR l’Ingén学习互动,互动学习以行动为中心的强化学习学会互动,互动学习,以行动为中心的强化学习计算机科学博士论文于2021年9月28日在Villeneuve d'Asq公开支持马修·瑟林评审团主席法布里斯·勒菲弗尔阿维尼翁大学教授论文指导奥利维尔·皮耶昆谷歌研究教授:智囊团论文联合主任菲利普·普雷教授,大学。里尔/CRISTAL/因里亚报告员奥利维耶·西格德索邦大学报告员卢多维奇·德诺耶教授,Facebook /索邦大学审查员越南圣迈IMT Atlantic高级讲师邀请弗洛里安·斯特鲁布博士,Deepmind对于那些及时看到自己错误的人...3谢谢你首先,我要感谢我的两位博士生导师Olivier和Philippe。奥利维尔,"站在巨人的肩膀上"这句话对你来说完全有意义了。从科学上讲,你知道在这篇论文的(许多)错误中,你是我可以依