def get_teleplay_links(nums=1000): with open('all_links.csv', 'r')as opener: link_list = opener.readlines() print(link_list) link_list = set(link.strip() for link in link_list) # print(link_list) browser.get(url) links = browser.find_elements_by_xpath("html//div[@class='list-wp']//a[@target='_blank']") browser.execute_script("window.scrollTo(0, document.body.scrollHeight)") time.sleep(1) try: while len(links) < nums: print('nums:', len(links)) browser.execute_script("window.scrollTo(0, document.body.scrollHeight)") time.sleep(random.randint(3, 5)) more = browser.find_element_by_xpath("html//a[@class='more']") while len(browser.window_handles) > 1: browser.switch_to.window(browser.window_handles[1]) browser.close() browser.switch_to.window(browser.window_handles[0]) print(more.get_attribute('href')) more.click() links = browser.find_elements_by_xpath("html//div[@class='list-wp']//a[@target='_blank']") for link in links: href = link.get_attribute('href') print('href', href) if href not in link_list: link_list.add(href) else: print('exist!') except Exception: with open('all_links.csv', 'w')as opener: for href in link_list: opener.write(href + '\n')

时间: 2023-06-17 18:08:14 浏览: 57
这段代码的作用是获取电视剧链接,并将新的链接存储到一个名为 "all_links.csv" 的文件中。具体流程如下: 1. 打开名为 "all_links.csv" 的文件,读取其中的链接列表,存储到 link_list 变量中。 2. 将 link_list 中的每个链接去掉首尾空格,存储到 set 中,这样可以去重。 3. 打开一个网页,通过 xpath 定位到网页中的电视剧链接,存储到 links 变量中。 4. 将网页滚动到底部,等待 1 秒,尝试查找 "更多" 按钮。 5. 如果找到 "更多" 按钮,就点击它,等待新的电视剧链接加载完成。 6. 将新的电视剧链接存储到 link_list 中,如果链接已经存在于 link_list 中,则忽略。 7. 如果出现异常,就将 link_list 中的链接写入到 "all_links.csv" 文件中。 需要注意的是,这段代码中使用了 Selenium 库来模拟浏览器操作,因此需要先安装该库。另外,代码中的 url 变量没有给出,需要在调用该函数之前先定义好。

相关推荐

最新推荐

recommend-type

高分项目 基于STM32单片机的宠物RFID阅读器源代码+项目资料齐全+教程文档.zip

【资源概览】 高分项目 基于STM32的宠物RFID阅读器源代码+项目资料齐全+教程文档.zip高分项目 基于STM32的宠物RFID阅读器源代码+项目资料齐全+教程文档.zip高分项目 基于STM32的宠物RFID阅读器源代码+项目资料齐全+教程文档.zip 【资源说明】 高分项目源码:此资源是在校高分项目的完整源代码,经过导师的悉心指导与认可,答辩评审得分高达95分,项目的质量与深度有保障。 测试运行成功:所有的项目代码在上传前都经过了严格的测试,确保在功能上完全符合预期,您可以放心下载并使用。 适用人群广泛:该项目不仅适合计算机相关专业(如电子信息、物联网、通信工程、自动化等)的在校学生和老师,还可以作为毕业设计、课程设计、作业或项目初期立项的演示材料。对于希望进阶学习的小白来说,同样是一个极佳的学习资源。 代码灵活性高:如果您具备一定的编程基础,可以在此代码基础上进行个性化的修改,以实现更多功能。当然,直接用于毕业设计、课程设计或作业也是完全可行的。 欢迎下载,与我一起交流学习,共同进步!
recommend-type

node-v7.7.4-sunos-x86.tar.xz

Node.js,简称Node,是一个开源且跨平台的JavaScript运行时环境,它允许在浏览器外运行JavaScript代码。Node.js于2009年由Ryan Dahl创立,旨在创建高性能的Web服务器和网络应用程序。它基于Google Chrome的V8 JavaScript引擎,可以在Windows、Linux、Unix、Mac OS X等操作系统上运行。 Node.js的特点之一是事件驱动和非阻塞I/O模型,这使得它非常适合处理大量并发连接,从而在构建实时应用程序如在线游戏、聊天应用以及实时通讯服务时表现卓越。此外,Node.js使用了模块化的架构,通过npm(Node package manager,Node包管理器),社区成员可以共享和复用代码,极大地促进了Node.js生态系统的发展和扩张。 Node.js不仅用于服务器端开发。随着技术的发展,它也被用于构建工具链、开发桌面应用程序、物联网设备等。Node.js能够处理文件系统、操作数据库、处理网络请求等,因此,开发者可以用JavaScript编写全栈应用程序,这一点大大提高了开发效率和便捷性。 在实践中,许多大型企业和组织已经采用Node.js作为其Web应用程序的开发平台,如Netflix、PayPal和Walmart等。它们利用Node.js提高了应用性能,简化了开发流程,并且能更快地响应市场需求。
recommend-type

高分项目 基于STM32单片机+Labview的消防面罩设计源代码+项目资料齐全+教程文档.zip

【资源概览】 高分项目 基于STM32单片机+Labview的消防面罩设计源代码+项目资料齐全+教程文档.zip高分项目 基于STM32单片机+Labview的消防面罩设计源代码+项目资料齐全+教程文档.zip 【资源说明】 高分项目源码:此资源是在校高分项目的完整源代码,经过导师的悉心指导与认可,答辩评审得分高达95分,项目的质量与深度有保障。 测试运行成功:所有的项目代码在上传前都经过了严格的测试,确保在功能上完全符合预期,您可以放心下载并使用。 适用人群广泛:该项目不仅适合计算机相关专业(如电子信息、物联网、通信工程、自动化等)的在校学生和老师,还可以作为毕业设计、课程设计、作业或项目初期立项的演示材料。对于希望进阶学习的小白来说,同样是一个极佳的学习资源。 代码灵活性高:如果您具备一定的编程基础,可以在此代码基础上进行个性化的修改,以实现更多功能。当然,直接用于毕业设计、课程设计或作业也是完全可行的。 欢迎下载,与我一起交流学习,共同进步!
recommend-type

node-v8.1.4-darwin-x64.tar.xz

Node.js,简称Node,是一个开源且跨平台的JavaScript运行时环境,它允许在浏览器外运行JavaScript代码。Node.js于2009年由Ryan Dahl创立,旨在创建高性能的Web服务器和网络应用程序。它基于Google Chrome的V8 JavaScript引擎,可以在Windows、Linux、Unix、Mac OS X等操作系统上运行。 Node.js的特点之一是事件驱动和非阻塞I/O模型,这使得它非常适合处理大量并发连接,从而在构建实时应用程序如在线游戏、聊天应用以及实时通讯服务时表现卓越。此外,Node.js使用了模块化的架构,通过npm(Node package manager,Node包管理器),社区成员可以共享和复用代码,极大地促进了Node.js生态系统的发展和扩张。 Node.js不仅用于服务器端开发。随着技术的发展,它也被用于构建工具链、开发桌面应用程序、物联网设备等。Node.js能够处理文件系统、操作数据库、处理网络请求等,因此,开发者可以用JavaScript编写全栈应用程序,这一点大大提高了开发效率和便捷性。 在实践中,许多大型企业和组织已经采用Node.js作为其Web应用程序的开发平台,如Netflix、PayPal和Walmart等。它们利用Node.js提高了应用性能,简化了开发流程,并且能更快地响应市场需求。
recommend-type

工作总结PPT16.pptx

工作总结PPT16.pptx
recommend-type

zigbee-cluster-library-specification

最新的zigbee-cluster-library-specification说明文档。
recommend-type

管理建模和仿真的文件

管理Boualem Benatallah引用此版本:布阿利姆·贝纳塔拉。管理建模和仿真。约瑟夫-傅立叶大学-格勒诺布尔第一大学,1996年。法语。NNT:电话:00345357HAL ID:电话:00345357https://theses.hal.science/tel-003453572008年12月9日提交HAL是一个多学科的开放存取档案馆,用于存放和传播科学研究论文,无论它们是否被公开。论文可以来自法国或国外的教学和研究机构,也可以来自公共或私人研究中心。L’archive ouverte pluridisciplinaire
recommend-type

实现实时数据湖架构:Kafka与Hive集成

![实现实时数据湖架构:Kafka与Hive集成](https://img-blog.csdnimg.cn/img_convert/10eb2e6972b3b6086286fc64c0b3ee41.jpeg) # 1. 实时数据湖架构概述** 实时数据湖是一种现代数据管理架构,它允许企业以低延迟的方式收集、存储和处理大量数据。与传统数据仓库不同,实时数据湖不依赖于预先定义的模式,而是采用灵活的架构,可以处理各种数据类型和格式。这种架构为企业提供了以下优势: - **实时洞察:**实时数据湖允许企业访问最新的数据,从而做出更明智的决策。 - **数据民主化:**实时数据湖使各种利益相关者都可
recommend-type

如何用python编写api接口

在Python中编写API接口可以使用多种框架,其中比较流行的有Flask和Django。这里以Flask框架为例,简单介绍如何编写API接口。 1. 安装Flask框架 使用pip命令安装Flask框架: ``` pip install flask ``` 2. 编写API接口 创建一个Python文件,例如app.py,编写以下代码: ```python from flask import Flask, jsonify app = Flask(__name__) @app.route('/api/hello', methods=['GET']) def hello():
recommend-type

JSBSim Reference Manual

JSBSim参考手册,其中包含JSBSim简介,JSBSim配置文件xml的编写语法,编程手册以及一些应用实例等。其中有部分内容还没有写完,估计有生之年很难看到完整版了,但是内容还是很有参考价值的。