利用python爬虫，提取C:/Users/test/Desktop/DIDItest文件夹下多个文件内的html文件源代码，并提取源代码中的ID、时间、发送号码、接收号码、发送内容，如果发送内容为音频则提取音频所在位置，反之则保留发送内容，并将爬取的内容写入csv中 网页内源代码如下： <html> <meta http-equiv="Content=-Type" content="text/html; charset=utf-8"> <head> <link href="http://192.167.1.101/hint.css" rel="stylesheet"></link> </head> <body>[talkid:138031361]2014年4月20日 03:55:45 , <span class="hint-success" data-hint"">434343</span> 向 <span class="hint-success" data-hint="">232323</span> 发送 我们已经是好友了，开始聊天吧！ <p> ()</p> [talkid:138031362]2014年4月20日 04:45:45 , <span class="hint-success" data-hint"">434343</span> 向 <span class="hint-success" data-hint="">123456</span> 发送 音频 :[<ahref="files/f/f123fsasfsfsjdfrhf_n.m4a"]>音频</a> <p> ()</p> [talkid:138031363]2014年4月20日 04:55:45 , <span class="hint-success" data-hint"">434343</span> 向 <span class="hint-success" data-hint="">123456</span> 发送 音频 :[<ahref="files/f/f123fsasfsfsjdfrhf_n.jpg"]>图片</a> <p> ()</p> [talkid:138031364]2014年4月20日 05:55:45 , <span class="hint-success" data-hint"">434343</span> 向 <span class="hint-success" data-hint="">3234221</span> 发送 我们已经是好友了，开始聊天吧！ <p> ()</p> [talkid:138031365]2014年4月20日 06:55:45 , <span class="hint-success" data-hint"">434343</span> 向 <span class="hint-success" data-hint="">1359075</span> 发送 我们已经是好友了，开始聊天吧！ <p> ()</p> </body> </html>
时间: 2023-08-14 17:58:01 浏览: 31
你可以使用Python的BeautifulSoup库和正则表达式来提取HTML文件中的内容。下面是一个示例代码，可以提取出ID、时间、发送号码、接收号码和发送内容，并将其写入CSV文件中：
```python
import os
import csv
from bs4 import BeautifulSoup
import re
def extract_content(html):
soup = BeautifulSoup(html, 'html.parser')
talk_id = soup.find('body').find_all(text=re.compile(r'\[talkid:(\d+)\]'))
time = soup.find('body').find_all(text=re.compile(r'\d+年\d+月\d+日 \d+:\d+:\d+'))
sender = soup.select('.hint-success')[::2]
receiver = soup.select('.hint-success')[1::2]
content = soup.find_all('p')
extracted_data = []
for i in range(len(talk_id)):
if '音频' in content[i].text:
audio_url = soup.select('a[href^="files/f/"]')[i]['href']
extracted_data.append([talk_id[i], time[i], sender[i].text, receiver[i].text, audio_url])
else:
extracted_data.append([talk_id[i], time[i], sender[i].text, receiver[i].text, content[i].text.strip()])
return extracted_data
def write_to_csv(data, file_path):
with open(file_path, 'w', newline='', encoding='utf-8') as f:
writer = csv.writer(f)
writer.writerow(['ID', '时间', '发送号码', '接收号码', '发送内容'])
writer.writerows(data)
def main():
folder_path = 'C:/Users/test/Desktop/DIDItest'
output_file = 'output.csv'
extracted_data = []
for file_name in os.listdir(folder_path):
if file_name.endswith('.html'):
file_path = os.path.join(folder_path, file_name)
with open(file_path, 'r', encoding='utf-8') as f:
html = f.read()
extracted_data.extend(extract_content(html))
write_to_csv(extracted_data, output_file)
print(f"提取完成，结果已保存到 {output_file}")
if __name__ == '__main__':
main()
```
在上面的代码中，`folder_path` 变量指定了要提取文件的文件夹路径，`output_file` 变量指定了输出的CSV文件名。代码会遍历文件夹下的所有HTML文件，并提取出所需的信息存储在 `extracted_data` 列表中。最后，调用 `write_to_csv` 函数将数据写入CSV文件中。
请确保在运行代码之前安装了 `beautifulsoup4` 和 `lxml` 库，可以使用以下命令进行安装：
```
pip install beautifulsoup4
pip install lxml
```
请根据你的实际情况修改文件夹路径和输出文件名。
相关推荐
网页内源代码模板如下： <html> <meta http-equiv="Content=-Type" content="text/html; charset=utf-8"> <head> </head> <body>[talkid:138031370]2014年4月20日 03:55:45 , 111222 向 232323 发送 我们已经是好友了，开始聊天吧！ () [talkid:138031371]2014年4月20日 04:45:45 , 111222 向 123456 发送 音频 :[<ahref="files/f/f123fsasfsfsjdfrhf_n.m4a"]>音频
() [talkid:138031372]2014年4月20日 04:55:45 , 111222 向 123456 发送 图片 :[<ahref="files/f/f123fsasfsfsjdfrhf_n.jpg"]>图片 () </body> </html> 利用python爬虫，打开C:/Users/test/Desktop/DIDItest文件夹下多个文件夹内的html文件源代码，并爬取源代码中的ID、时间、发送号码、接收号码、发送内容，如果发送内容不为文本，则提取文件所在链接地址，并将爬取的内容写入csv中网页内源代码模板如下： <html> <meta http-equiv="Content=-Type" content="text/html; charset=utf-8"> <head> </head> <body>[talkid:138031370]2014年4月20日 03:55:45 , 111222 向 232323 发送 我们已经是好友了，开始聊天吧！ () [talkid:138031371]2014年4月20日 04:45:45 , 111222 向 123456 发送 音频 :[<ahref="files/f/f123fsasfsfsjdfrhf_n.m4a"]>音频
() [talkid:138031372]2014年4月20日 04:55:45 , 111222 向 123456 发送 图片 :[<ahref="files/f/f123fsasfsfsjdfrhf_n.jpg"]>图片 () </body> </html> 利用python爬虫，打开C:/Users/test/Desktop/DIDItest文件夹下多个文件夹内的html文件源代码，并将源代码转换为字符串，爬取源代码字符串中的ID、时间、发送号码、接收号码、信息类型、发送内容，如果发送内容不为文本，则提取文件所在链接地址，并将爬取的内容写入csv中，talkid提取[]中talkid：后的数字、时间精确至年月日时分秒、发送号码提取第一个 data-hint"">之间的数字，接收号码提取第二个data-hint"">，信息类型就提取 发送与：之间的文字，如果没有：则定义为文字利用python爬虫，提取C:/Users/test/Desktop/DIDItest文件夹下每个文件夹内的html文件源代码，并提取源代码中的ID、时间、发送号码、接收号码、发送内容，如果发送内容为音频则提取音频所在位置，反之则保留发送内容，并将爬取的内容写入csv中 网页内源代码如下： <html> <meta http-equiv="Content=-Type" content="text/html; charset=utf-8"> <head> </head> <body>[talkid:138031361]2014年4月20日 03:55:45 , 434343 向 232323 发送 我们已经是好友了，开始聊天吧！ () [talkid:138031362]2014年4月20日 04:45:45 , 434343 向 123456 发送 音频 :[<ahref="files/f/f123fsasfsfsjdfrhf_n.m4a"]>音频
() [talkid:138031363]2014年4月20日 04:55:45 , 434343 向 123456 发送 音频 :[<ahref="files/f/f123fsasfsfsjdfrhf_n.jpg"]>图片 () [talkid:138031364]2014年4月20日 05:55:45 , 434343 向 3234221 发送 我们已经是好友了，开始聊天吧！ () [talkid:138031365]2014年4月20日 06:55:45 , 434343 向 1359075 发送 我们已经是好友了，开始聊天吧！ () </body> </html><html> <meta http-equiv="Content=-Type" content="text/html; charset=utf-8"> <head> </head> <body>[talkid:138031370]2014年4月20日 03:55:45 , 111222 向 232323 发送 我们已经是好友了，开始聊天吧！ () [talkid:138031371]2014年4月20日 04:45:45 , 111222 向 123456 发送 音频 :[<ahref="files/f/f123fsasfsfsjdfrhf_n.m4a"]>音频
() [talkid:138031372]2014年4月20日 04:55:45 , 111222 向 123456 发送 图片 :[<ahref="files/f/f123fsasfsfsjdfrhf_n.jpg"]>图片 () [talkid:138031373]2014年4月20日 05:55:45 , 111222 向 3234221 发送 我们已经是好友了，开始聊天吧！ () [talkid:138031374]2014年4月20日 06:55:45 , 111222 向 1359075 发送 我们已经是好友了，开始聊天吧！ () </body> </html>利用python爬虫，打开C:/Users/test/Desktop/DIDItest文件夹下多个文件夹内的html文件源代码，并爬取源代码中的ID、时间、发送号码、接收号码、发送内容，如果发送内容不为文本，则提取文件所在链接地址，并将爬取的内容写入csv中网页内源代码模板如下： <body> [talkid:138031370]2014年4月20日 03:55:45 , 111222 向 232323 发送 我们已经是好友了，开始聊天吧！ () [talkid:138031371]2014年4月20日 04:45:45 , 111222 向 123456 发送 音频 :[音频 () [talkid:138031372]2014年4月20日 04:55:45 , 111222 向 123456 发送 图片 :[图片 () [talkid:137031382]2014年4月22日 04:45:45 , 2323234 在群 20011 中发言 音频 :[音频 () [talkid:137031383]2014年4月23日 04:55:45 , 2323234 在群 20011 中发言 图片 :[图片 () [talkid:137031384]2014年4月24日 05:55:45 , 2323234 在群 20011 中发言 我们已经是好友了，开始聊天吧！ () </body> </html> 利用python爬虫，打开C:/Users/test/Desktop/DIDItest文件夹下所有文件夹内的html文件源代码，并提取每一行<body>之间的数据，剔除 ()
网页内源代码模板如下： <body> [talkid:138031370]2014年4月20日 03:55:45 , 111222 向 232323 发送 我们已经是好友了，开始聊天吧！ () [talkid:138031371]2014年4月20日 04:45:45 , 111222 向 123456 发送 音频 :[音频 () [talkid:138031372]2014年4月20日 04:55:45 , 111222 向 123456 发送 图片 :[图片 () [talkid:137031382]2014年4月22日 04:45:45 , 2323234 在群 20011 中发言 音频 :[音频 () [talkid:137031383]2014年4月23日 04:55:45 , 2323234 在群 20011 中发言 图片 :[图片 () [talkid:137031384]2014年4月24日 05:55:45 , 2323234 在群 20011 中发言 我们已经是好友了，开始聊天吧！ () </body> </html> 利用python爬虫，打开C:/Users/test/Desktop/DIDItest文件夹下所有文件夹内的html文件源代码，
最新推荐
安装NumPy教程-详细版
附件是安装NumPy教程_详细版，文件绿色安全，请大家放心下载，仅供交流学习使用，无任何商业目的！
语音端点检测及其在Matlab中的实现.zip
语音端点检测及其在Matlab中的实现.zip
C#文档打印程序Demo
使用C#完成一般文档的打印，带有页眉，页脚文档打印，表格打印，打印预览等
DirectX修复工具-4-194985.zip
directx修复工具
DirectX修复工具(DirectX repair)是系统DirectX组件修复工具，DirectX修复工具主要是用于检测当前系统的DirectX状态，若发现异常情况就可以马上进行修复，非常快捷，使用效果也非常好。
Python手动实现人脸识别算法
人脸识别的主要算法
其核心算法是 欧式距离算法使用该算法计算两张脸的面部特征差异，一般在0.6 以下都可以被认为是同一张脸
人脸识别的主要步骤
1 获得人脸图片 2 将人脸图片转为128D的矩阵(这个也就是人脸特征的一种数字化表现) 3 保存人脸128D的特征到文件中 4 获取其他人脸转为128D特征通过欧式距离算法与我们保存的特征对比，如果差距在0.6以下就说明两张脸差距比较小
zigbee-cluster-library-specification
最新的zigbee-cluster-library-specification说明文档。
管理建模和仿真的文件
管理Boualem Benatallah引用此版本：布阿利姆·贝纳塔拉。管理建模和仿真。约瑟夫-傅立叶大学-格勒诺布尔第一大学，1996年。法语。NNT：电话：00345357HAL ID：电话：00345357https://theses.hal.science/tel-003453572008年12月9日提交HAL是一个多学科的开放存取档案馆，用于存放和传播科学研究论文，无论它们是否被公开。论文可以来自法国或国外的教学和研究机构，也可以来自公共或私人研究中心。L’archive ouverte pluridisciplinaire
实现实时数据湖架构：Kafka与Hive集成
# 1. 实时数据湖架构概述**
实时数据湖是一种现代数据管理架构，它允许企业以低延迟的方式收集、存储和处理大量数据。与传统数据仓库不同，实时数据湖不依赖于预先定义的模式，而是采用灵活的架构，可以处理各种数据类型和格式。这种架构为企业提供了以下优势：
- **实时洞察：**实时数据湖允许企业访问最新的数据，从而做出更明智的决策。
- **数据民主化：**实时数据湖使各种利益相关者都可
可见光定位LED及其供电硬件具体型号，广角镜头和探测器，实验设计具体流程步骤，
1. 可见光定位LED型号：一般可使用5mm或3mm的普通白色LED，也可以选择专门用于定位的LED，例如OSRAM公司的SFH 4715AS或Vishay公司的VLMU3500-385-120。
2. 供电硬件型号：可以使用常见的直流电源供电，也可以选择专门的LED驱动器，例如Meanwell公司的ELG-75-C或ELG-150-C系列。
3. 广角镜头和探测器型号：一般可采用广角透镜和CMOS摄像头或光电二极管探测器，例如Omron公司的B5W-LA或Murata公司的IRS-B210ST01。
4. 实验设计流程步骤：
1）确定实验目的和研究对象，例如车辆或机器人的定位和导航。
JSBSim Reference Manual
JSBSim参考手册，其中包含JSBSim简介，JSBSim配置文件xml的编写语法，编程手册以及一些应用实例等。其中有部分内容还没有写完，估计有生之年很难看到完整版了，但是内容还是很有参考价值的。