利用python爬虫,提取C:/Users/test/Desktop/DIDItest文件夹下多个文件内的html文件源代码,并提取源代码中的ID、时间、发送号码、接收号码、发送内容,如果发送内容为音频则提取音频所在位置,反之则保留发送内容,并将爬取的内容写入csv中 其中一个网页内源代码模板如下: <html> <meta http-equiv="Content=-Type" content="text/html; charset=utf-8"> <head> <link href="http://192.167.1.101/hint.css" rel="stylesheet"></link> </head> <body>[talkid:138031361]2014年4月20日 03:55:45 , <span class="hint-success" data-hint"">434343</span> 向 <span class="hint-success" data-hint="">232323</span> 发送 我们已经是好友了,开始聊天吧! <p> ()</p> [talkid:138031362]2014年4月20日 04:45:45 , <span class="hint-success" data-hint"">434343</span> 向 <span class="hint-success" data-hint="">123456</span> 发送 音频 :[<ahref="files/f/f123fsasfsfsjdfrhf_n.m4a"]>音频</a> <p> ()</p> [talkid:138031363]2014年4月20日 04:55:45 , <span class="hint-success" data-hint"">434343</span> 向 <span class="hint-success" data-hint="">123456</span> 发送 音频 :[<ahref="files/f/f123fsasfsfsjdfrhf_n.jpg"]>图片</a> <p> ()</p> [talkid:138031364]2014年4月20日 05:55:45 , <span class="hint-success" data-hint"">434343</span> 向 <span class="hint-success" data-hint="">3234221</span> 发送 我们已经是好友了,开始聊天吧! <p> ()</p> [talkid:138031365]2014年4月20日 06:55:45 , <span class="hint-success" data-hint"">434343</span> 向 <span class="hint-success" data-hint="">1359075</span> 发送 我们已经是好友了,开始聊天吧! <p> ()</p> </body> </html>

时间: 2023-08-14 14:58:26 浏览: 104
你可以使用Python的爬虫库BeautifulSoup和csv库来提取文件夹中的HTML文件源代码,并从源代码中提取所需的信息。以下是一个示例代码,可以满足你的需求: ```python import os import csv from bs4 import BeautifulSoup folder_path = 'C:/Users/test/Desktop/DIDItest' output_file = 'output.csv' # 定义要提取的字段 fields = ['ID', '时间', '发送号码', '接收号码', '发送内容'] # 创建CSV文件并写入字段名 with open(output_file, 'w', newline='', encoding='utf-8') as file: writer = csv.DictWriter(file, fieldnames=fields) writer.writeheader() # 遍历文件夹中的HTML文件 for filename in os.listdir(folder_path): if filename.endswith('.html'): file_path = os.path.join(folder_path, filename) # 打开HTML文件并解析源代码 with open(file_path, 'r', encoding='utf-8') as html_file: soup = BeautifulSoup(html_file, 'html.parser') # 提取所需的信息 for talkid in soup.find_all('span', class_='hint-success'): info = {} info['ID'] = talkid['talkid'] info['时间'] = talkid.next_sibling.strip().split(',')[0] info['发送号码'] = talkid.get_text() info['接收号码'] = talkid.find_next('span', class_='hint-success').get_text() info['发送内容'] = talkid.find_next('p').next_sibling.strip() # 如果发送内容为音频,则提取音频所在位置 if '音频' in info['发送内容']: audio_link = talkid.find_next('a')['href'] audio_path = os.path.join(folder_path, audio_link) info['发送内容'] = audio_path # 写入CSV文件 writer.writerow(info) ``` 你只需要将`folder_path`变量设置为你的文件夹路径,并将`output_file`变量设置为你想要保存结果的CSV文件路径。这个代码将遍历文件夹中的所有HTML文件,提取所需的信息,并将结果写入CSV文件中。如果发送内容是音频,则提取音频所在位置,否则保留发送内容。 请确保安装了BeautifulSoup库,你可以使用`pip install beautifulsoup4`命令进行安装。
阅读全文

相关推荐

网页内源代码模板如下: <html> <meta http-equiv="Content=-Type" content="text/html; charset=utf-8"> <head> </head> <body>[talkid:138031370]2014年4月20日 03:55:45 , 111222232323 发送 我们已经是好友了,开始聊天吧! () [talkid:138031371]2014年4月20日 04:45:45 , 111222123456 发送 音频 :[<ahref="files/f/f123fsasfsfsjdfrhf_n.m4a"]>音频 () [talkid:138031372]2014年4月20日 04:55:45 , 111222123456 发送 图片 :[<ahref="files/f/f123fsasfsfsjdfrhf_n.jpg"]>图片 () </body> </html> 利用python爬虫,打开C:/Users/test/Desktop/DIDItest文件夹下多个文件夹内的html文件源代码,并爬取源代码中的ID、时间、发送号码、接收号码、发送内容,如果发送内容不为文本,则提取文件所在链接地址,并将爬取的内容写入csv中

网页内源代码模板如下: <html> <meta http-equiv="Content=-Type" content="text/html; charset=utf-8"> <head> </head> <body>[talkid:138031370]2014年4月20日 03:55:45 , 111222232323 发送 我们已经是好友了,开始聊天吧! () [talkid:138031371]2014年4月20日 04:45:45 , 111222123456 发送 音频 :[<ahref="files/f/f123fsasfsfsjdfrhf_n.m4a"]>音频 () [talkid:138031372]2014年4月20日 04:55:45 , 111222123456 发送 图片 :[<ahref="files/f/f123fsasfsfsjdfrhf_n.jpg"]>图片 () </body> </html> 利用python爬虫,打开C:/Users/test/Desktop/DIDItest文件夹下多个文件夹内的html文件源代码,并将源代码转换为字符串,爬取源代码字符串中的ID、时间、发送号码、接收号码、信息类型、发送内容,如果发送内容不为文本,则提取文件所在链接地址,并将爬取的内容写入csv中,talkid提取[]中talkid:后的数字、时间精确至年月日时分秒、发送号码提取第一个 data-hint"">之间的数字,接收号码提取第二个data-hint"">,信息类型就提取 发送与:之间的文字,如果没有:则定义为文字

<html> <meta http-equiv="Content=-Type" content="text/html; charset=utf-8"> <head> </head> <body>[talkid:138031370]2014年4月20日 03:55:45 , 111222232323 发送 我们已经是好友了,开始聊天吧! () [talkid:138031371]2014年4月20日 04:45:45 , 111222123456 发送 音频 :[<ahref="files/f/f123fsasfsfsjdfrhf_n.m4a"]>音频 () [talkid:138031372]2014年4月20日 04:55:45 , 111222123456 发送 图片 :[<ahref="files/f/f123fsasfsfsjdfrhf_n.jpg"]>图片 () [talkid:138031373]2014年4月20日 05:55:45 , 1112223234221 发送 我们已经是好友了,开始聊天吧! () [talkid:138031374]2014年4月20日 06:55:45 , 1112221359075 发送 我们已经是好友了,开始聊天吧! () </body> </html>利用python爬虫,打开C:/Users/test/Desktop/DIDItest文件夹下多个文件夹内的html文件源代码,并爬取源代码中的ID、时间、发送号码、接收号码、发送内容,如果发送内容不为文本,则提取文件所在链接地址,并将爬取的内容写入csv中

网页内源代码模板如下: <body> [talkid:138031370]2014年4月20日 03:55:45 , 111222232323 发送 我们已经是好友了,开始聊天吧! () [talkid:138031371]2014年4月20日 04:45:45 , 111222123456 发送 音频 :[音频 () [talkid:138031372]2014年4月20日 04:55:45 , 111222123456 发送 图片 :[图片 () [talkid:137031382]2014年4月22日 04:45:45 , 2323234 在群 20011 中发言 音频 :[音频 () [talkid:137031383]2014年4月23日 04:55:45 , 2323234 在群 20011 中发言 图片 :[图片 () [talkid:137031384]2014年4月24日 05:55:45 , 2323234 在群 20011 中发言 我们已经是好友了,开始聊天吧! () </body> </html> 利用python爬虫,打开C:/Users/test/Desktop/DIDItest文件夹下所有文件夹内的html文件源代码,并提取每一行<body>之间的数据,剔除 ()

网页内源代码模板如下: <body> [talkid:138031370]2014年4月20日 03:55:45 , 111222232323 发送 我们已经是好友了,开始聊天吧! () [talkid:138031371]2014年4月20日 04:45:45 , 111222123456 发送 音频 :[音频 () [talkid:138031372]2014年4月20日 04:55:45 , 111222123456 发送 图片 :[图片 () [talkid:137031382]2014年4月22日 04:45:45 , 2323234 在群 20011 中发言 音频 :[音频 () [talkid:137031383]2014年4月23日 04:55:45 , 2323234 在群 20011 中发言 图片 :[图片 () [talkid:137031384]2014年4月24日 05:55:45 , 2323234 在群 20011 中发言 我们已经是好友了,开始聊天吧! () </body> </html> 利用python爬虫,打开C:/Users/test/Desktop/DIDItest文件夹下所有文件夹内的html文件源代码,

大家在看

recommend-type

基于自适应权重稀疏典范相关分析的人脸表情识别

为解决当变量个数离散时,典型的相关分析方法不能称为一个稳定模型的问题,提出了一种基于自适应权值的稀疏典型相关分析的人脸表情识别方法。系数收敛的约束,使基向量中的某些系数收敛为0,因此,可以去掉一些对表情识别没有用处的变量。同时,通常由稀疏类别相关分析得出,稀疏权值的选择是固定的在Jaffe和Cohn-Kanade人脸表情数据库上的实验结果,进一步验证了该方法的正确性和有效性。
recommend-type

香港地铁的安全风险管理 (2007年)

概述地铁有限公司在香港建立和实践安全风险管理体系的经验、运营铁路安全管理组织架构、工程项目各阶段的安全风险管理规划、主要安全风险管理任务及分析方法等。
recommend-type

彩虹聚合DNS管理系统V1.3+搭建教程

彩虹聚合DNS管理系统,可以实现在一个网站内管理多个平台的域名解析,目前已支持的域名平台有:阿里云、腾讯云、华为云、西部数码、CloudFlare。本系统支持多用户,每个用户可分配不同的域名解析权限;支持API接口,支持获取域名独立DNS控制面板登录链接,方便各种IDC系统对接。 部署方法: 1、运行环境要求PHP7.4+,MySQL5.6+ 2、设置网站运行目录为public 3、设置伪静态为ThinkPHP 4、访问网站,会自动跳转到安装页面,根据提示安装完成 5、访问首页登录控制面板
recommend-type

一种新型三维条纹图像滤波算法 图像滤波算法.pdf

一种新型三维条纹图像滤波算法 图像滤波算法.pdf
recommend-type

节的一些关于非传统-华为hcnp-数通题库2020/1/16(h12-221)v2.5

到一母线,且需要一个 PQ 负载连接到同一母线。图 22.8 说明电源和负荷模 块的 22.3.6 发电机斜坡加速 发电机斜坡加速模块必须连接到电源模块。电源模块掩模允许具有零或一个输入端口。 输入端口只用在连接斜坡加速模块;不推荐在电源模块中留下未使用的输入端口。图 22.9 说明了斜坡加速模块的用法。注意:发电机斜坡加速数据只有在与 PSAT 图形存取方法接口 (多时段和单位约束的方法)连用时才有效。 22.3.7 发电机储备 发电机储备模块必须连接到一母线,且需要一个 PV 发电机或一个平衡发电机和电源模 块连接到同一母线。图 22.10 说明储备块使用。注意:发电机储备数据只有在与 PSAT OPF 程序连用时才有效。 22.3.8 非传统负载 非传统负载模块是一些在第 即电压依赖型负载,ZIP 型负 载,频率依赖型负载,指数恢复型负载,温控型负载,Jimma 型负载和混合型负载。前两个 可以在 “潮流后初始化”参数设置为 0 时,当作标准块使用。但是,一般来说,所有非传 统负载都需要在同一母线上连接 PQ 负载。多个非传统负载可以连接在同一母线上,不过, 要注意在同一母线上连接两个指数恢复型负载是没有意义的。见 14.8 节的一些关于非传统 负载用法的说明。图 22.11 表明了 Simulink 模型中的非传统负载的用法。 (c)电源块的不正确 .5 电源和负荷 电源块必须连接到一母线,且需要一个 PV 发电机或一个平衡发电机连接到同一 负荷块必须连接 用法。 14 章中所描述的负载模块, 图 22.9:发电机斜坡加速模块用法。 (a)和(b)斜坡加速块的正确用法;(c)斜坡加速块的不正确用法; (d)电源块的不推荐用法

最新推荐

recommend-type

2025最新全国水利安全生产知识竞赛题库(含答案).docx

2025最新全国水利安全生产知识竞赛题库(含答案).docx
recommend-type

【雷达】非相干多视处理(CSA)Matlab代码.rar

1.版本:matlab2014/2019a/2024a 2.附赠案例数据可直接运行matlab程序。 3.代码特点:参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象:计算机,电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。
recommend-type

使用 MATLAB 的实时人脸识别考勤系统Matlab代码.rar

1.版本:matlab2014/2019a/2024a 2.附赠案例数据可直接运行matlab程序。 3.代码特点:参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象:计算机,电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。
recommend-type

elasticsearch8.17.1 docker镜像资源

因为文件过大所以使用bz2进行了2次压缩,请解压成tar包后在上传到服务器
recommend-type

基于java+ssm+mysql的校园二手交易平台 源码+数据库+论文(高分毕设项目).zip

项目已获导师指导并通过的高分毕业设计项目,可作为课程设计和期末大作业,下载即用无需修改,项目完整确保可以运行。 包含:项目源码、数据库脚本、软件工具等,该项目可以作为毕设、课程设计使用,前后端代码都在里面。 该系统功能完善、界面美观、操作简单、功能齐全、管理便捷,具有很高的实际应用价值。 项目都经过严格调试,确保可以运行!可以放心下载 技术组成 语言:java 开发环境:idea 数据库:MySql8.0 部署环境:Tomcat(建议用 7.x 或者 8.x 版本),maven 数据库工具:navicat
recommend-type

Fortify代码扫描工具完整用户指南与安装手册

Fortify是惠普公司推出的一套应用安全测试工具,广泛应用于软件开发生命周期中,以确保软件的安全性。从给定的文件信息中,我们可以了解到相关的文档涉及Fortify的不同模块和版本5.2的使用说明。下面将对这些文档中包含的知识点进行详细说明: 1. Fortify Audit Workbench User Guide(审计工作台用户指南) 这份用户指南将会对Fortify Audit Workbench模块提供详细介绍,这是Fortify产品中用于分析静态扫描结果的界面。文档可能会包括如何使用工作台进行项目创建、任务管理、报告生成以及结果解读等方面的知识。同时,用户指南也可能会解释如何使用Fortify提供的工具来识别和管理安全风险,包括软件中可能存在的各种漏洞类型。 2. Fortify SCA Installation Guide(软件组合分析安装指南) 软件组合分析(SCA)模块是Fortify用以识别和管理开源组件安全风险的工具。安装指南将涉及详细的安装步骤、系统要求、配置以及故障排除等内容。它可能会强调对于不同操作系统和应用程序的支持情况,以及在安装过程中可能遇到的常见问题和解决方案。 3. Fortify SCA System Requirements(软件组合分析系统需求) 该文档聚焦于列出运行Fortify SCA所需的硬件和软件最低配置要求。这包括CPU、内存、硬盘空间以及操作系统等参数。了解这些需求对于确保Fortify SCA能够正常运行以及在不同的部署环境中都能提供稳定的性能至关重要。 4. Fortify SCA User Guide(软件组合分析用户指南) 用户指南将指导用户如何使用SCA模块来扫描应用程序中的开源代码组件,识别已知漏洞和许可证风险。指南中可能含有操作界面的介绍、扫描策略的设置、结果解读方法、漏洞管理流程等关键知识点。 5. Fortify SCA Utilities Guide(软件组合分析工具指南) 此文档可能详细描述了SCA模块的附加功能和辅助工具,包括命令行工具的使用方法、报告的格式化和定制选项,以及与持续集成工具的集成方法等。 6. Fortify Secure Coding Package for Visual Studio User Guide(Visual Studio安全编码包用户指南) Visual Studio安全编码包是Fortify提供给Visual Studio开发者的插件,它能够在编码阶段就帮助开发者发现和修复代码中的安全问题。这份指南将详细说明如何在Visual Studio中集成和使用这个插件,以及如何通过它的各种特性提升代码质量和安全性。 7. IntroToSCAS(软件组合分析入门) 这本入门指南可能为初学者提供一个关于SCA概念的基础理解,包括其重要性、工作原理以及如何应对软件中依赖的开源组件所带来的安全风险。 这些文档涵盖了使用Fortify进行代码安全扫描的多个方面,从安装配置到使用指导,再到深入的漏洞管理。每一个文档都为用户提供了在软件开发生命周期中提高软件安全性所需的关键知识和工具。对于IT专业人士来说,熟悉这些文档的内容将有助于他们更好地在软件开发过程中实施安全措施,以防范潜在的安全威胁。 由于文档内容的丰富性,以上知识点仅是一部分概览。对于每个模块的具体使用方法、最佳实践、案例研究以及高级功能配置等内容,都需要在阅读官方文档后才能全面掌握。IT行业中的安全专家、开发人员、测试工程师等都应根据自己的职责范围来深入学习和应用这些文档中的知识。
recommend-type

【VS2010-MFC实战秘籍】:串口数据波形显示软件入门及优化全解析

# 摘要 本文系统地探讨了基于MFC的串口数据波形显示软件的开发过程,涵盖了从理论基础到实践应用的各个方面。首先介绍了MFC串口通信的理论知识和实际操作,包括串口工作原理、参数配置及使用MFC串口类进行数据收发。随后,文章深入讲解了波形显示软件的界面设计、实现及优化策略,强调了用户
recommend-type

freesurfer完成处理后,如何批量提取每个被试aseg.stats的某个脑区的体积(volume)到一个table中,每个被试的数据是单独的一行

在Freesurfer的处理流程结束后,如果你想要从每个被试的aseg.stats文件中提取特定脑区的体积并整理成表格,你可以按照以下步骤操作: 1. **定位aseg.stats文件**:首先需要找到每个被试的aseg.stats文件,通常它们位于`fsaverage/surf/lh/label`或`rh/label`目录下,对应于左右半球,名称包含被试ID。 2. **解析数据**:打开`aseg.stats`文件,这是一个文本文件,包含了各个脑区域的信息,包括名称(比如`lh.Cuneus.volume`)和值。使用编程语言如Python或Matlab可以方便地读取和解析这个文件。
recommend-type

汽车共享使用说明书的开发与应用

根据提供的文件信息,我们可以提炼出以下知识点: 1. 文件标题为“carshare-manual”,意味着这份文件是一份关于汽车共享服务的手册。汽车共享服务是指通过互联网平台,允许多个用户共享同一辆汽车使用权的模式。这种服务一般包括了车辆的定位、预约、支付等一系列功能,目的是为了减少个人拥有私家车的数量,提倡环保出行,并且能够提高车辆的利用率。 2. 描述中提到的“Descripción 在汽车上使用说明书的共享”,表明该手册是一份共享使用说明,用于指导用户如何使用汽车共享服务。这可能涵盖了如何注册、如何预约车辆、如何解锁和启动车辆、如何支付费用等用户关心的操作流程。 3. 进一步的描述提到了“通用汽车股份公司的股份公司 手册段CarShare 埃斯特上课联合国PROYECTO desarrollado恩11.0.4版本。”,这部分信息说明了这份手册属于通用汽车公司(可能是指通用汽车股份有限公司GM)的CarShare项目。CarShare项目在11.0.4版本中被开发或更新。在IT行业中,版本号通常表示软件的迭代,其中每个数字代表不同的更新或修复的内容。例如,“11.0.4”可能意味着这是11版本的第4次更新。 4. 标签中出现了“TypeScript”,这表明在开发该手册对应的CarShare项目时使用了TypeScript语言。TypeScript是JavaScript的一个超集,它添加了类型系统和一些其他特性,使得开发大型的、可维护的应用程序变得更加容易。TypeScript编译到JavaScript,因此它是JavaScript的一个严格的语法子集。通过使用TypeScript,开发者可以利用面向对象编程的特性,如接口、泛型、类、模块等。 5. 压缩包子文件的文件名称列表中只有一个文件名“carshare-manual-master”,这表明原始的CarShare项目文件可能被压缩打包成了一个压缩文件,并且该压缩文件的名称为“carshare-manual-master”。在IT项目管理中,“master”通常指的是主分支,这个分支通常用于生产环境或是软件的稳定发布版本。这说明“carshare-manual-master”可能是CarShare项目的主分支备份,包含了手册的最新版本。 综合以上信息,我们可以得出以下结论:这份“carshare-manual”是一份由通用汽车公司开发的汽车共享服务使用手册,该服务是CarShare项目的一部分,项目开发使用了TypeScript语言,并且与之相关的一个主分支备份文件被命名为“carshare-manual-master”。用户可以通过这份手册了解如何使用CarShare服务,包括注册、预约、使用和支付等环节,以便更好地享受汽车共享带来的便捷和环保出行理念。
recommend-type

BD3201电路维修全攻略:从入门到高级技巧的必备指南

# 摘要 本文系统地介绍了BD3201电路的维修流程和理论知识,旨在为相关技术人员提供全面的维修指导。首先概述了BD3201电路维修的基本概念,接着深入探讨了电路的基础理论,包括电路工作原理、电路图解读及故障分析基础。第三章详细描述了维修实践操作,涵盖了从准备工作到常见故障诊断与修复,以及性能测试与优化的完整过程。第四章提出了BD3201电路高级维修技巧,强调了微电子组件的焊接拆卸技术及高