使用Beautiful Soup抽取新闻的标题、内容、时间。保存在sqlite数据库文件中

时间: 2024-05-01 09:16:14 浏览: 16
以下是使用Beautiful Soup和sqlite3抽取新闻的标题、内容、时间并保存至sqlite数据库的Python代码示例: ```python import requests from bs4 import BeautifulSoup import sqlite3 # 创建一个sqlite数据库连接 conn = sqlite3.connect('news.db') c = conn.cursor() # 创建一个表来保存新闻标题、内容、时间 c.execute('''CREATE TABLE IF NOT EXISTS news (id INTEGER PRIMARY KEY AUTOINCREMENT, title TEXT, content TEXT, time TEXT)''') # 爬取新闻网站的页面内容 url = 'https://news.sina.com.cn/' res = requests.get(url) res.encoding = 'utf-8' html = res.text # 使用Beautiful Soup解析网页内容 soup = BeautifulSoup(html, 'html.parser') # 抽取新闻标题、内容、时间并保存到数据库中 for news in soup.select('.news-item'): title = news.select('.news-title')[0].text.strip() content = news.select('.news-content')[0].text.strip() time = news.select('.time')[0].text.strip() c.execute("INSERT INTO news (title, content, time) VALUES (?, ?, ?)", (title, content, time)) # 提交更改并关闭数据库连接 conn.commit() conn.close() ``` 运行代码后,将会在当前目录下生成一个news.db的sqlite数据库文件,其中包含了新闻的标题、内容、时间信息。您可以使用sqlite3命令行工具或其他sqlite客户端工具来查看和操作这个数据库文件。

相关推荐

最新推荐

recommend-type

基于EasyX的贪吃蛇小游戏 - C语言

基于EasyX的贪吃蛇小游戏 - C语言
recommend-type

Energy Core ECP5705-V01.pdf

Energy Core ECP5705-V01.pdf
recommend-type

matlabGUI学生成绩管理系统pdf

建立基于图形用户界面GUI的学生成绩管理系统,该系统能够实现学生成绩信息的增加、删除、查询(查询某门课所有学生的成绩并显示排名,查询某个学生的各科成绩并显示排名)、课程成绩统计最高分、最低分、平均分、方差、并显示相应的排名;绘制柱状图、条形图、饼状图、正太分布曲线等功能。 通过本实验使学生掌握图形用户界面GUI的操作和设计流程,并通过编写回调函数巩固前期的知识。
recommend-type

高职教育品牌专业申报汇总表.doc

高职教育品牌专业申报汇总表.doc
recommend-type

游戏运营数据后台需求表.docx

游戏运营数据后台需求表.docx
recommend-type

zigbee-cluster-library-specification

最新的zigbee-cluster-library-specification说明文档。
recommend-type

管理建模和仿真的文件

管理Boualem Benatallah引用此版本:布阿利姆·贝纳塔拉。管理建模和仿真。约瑟夫-傅立叶大学-格勒诺布尔第一大学,1996年。法语。NNT:电话:00345357HAL ID:电话:00345357https://theses.hal.science/tel-003453572008年12月9日提交HAL是一个多学科的开放存取档案馆,用于存放和传播科学研究论文,无论它们是否被公开。论文可以来自法国或国外的教学和研究机构,也可以来自公共或私人研究中心。L’archive ouverte pluridisciplinaire
recommend-type

MATLAB遗传算法自动优化指南:解放算法调优,提升效率

![MATLAB遗传算法自动优化指南:解放算法调优,提升效率](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/8487939061/p208348.png) # 1. MATLAB遗传算法概述** 遗传算法是一种受生物进化启发的优化算法,它模拟了自然选择和遗传的过程。在MATLAB中,遗传算法工具箱提供了丰富的函数和类,用于创建和运行遗传算法。 **1.1 遗传算法的基本原理** 遗传算法的工作原理如下: - **初始化:**创建由随机个体组成的初始种群。 - **评估:**根据目标函数计算每个个体的适应度。 -
recommend-type

failed to register layer: ApplyLayer exit status 1 stdout: stderr: archive/tar: invalid tar header

很抱歉听到这个问题。这个错误通常是由于Docker镜像损坏或Docker存储库中缺少所需的图层引起的。您可以尝试以下几种方法来解决这个问题: 1. 清理Docker镜像和容器:使用命令“docker system prune”清理不再使用的Docker对象。 2. 检查Docker存储库:确保您正在使用可靠的Docker存储库,并检查是否存在所有必需的图层。 3. 重新下载Docker镜像:如果您确定问题是由于损坏的Docker镜像引起的,则可以尝试重新下载Docker镜像。 4. 更新Docker版本:如果您使用的是旧版Docker,则可能会出现此问题。尝试更新到最新版本的Docke
recommend-type

JSBSim Reference Manual

JSBSim参考手册,其中包含JSBSim简介,JSBSim配置文件xml的编写语法,编程手册以及一些应用实例等。其中有部分内容还没有写完,估计有生之年很难看到完整版了,但是内容还是很有参考价值的。