from pprint import pprint

时间: 2024-08-16 19:03:02 浏览: 44
`from pprint import pprint` 是 Python 中的一个导入语句,它用于引入 `pprint` 模块,该模块提供了一个名为 `pprint()` 的函数,全称为“pretty-print”。这个函数的主要作用是将复杂的数据结构(如字典、列表、元组等)以一种更易读的方式格式化并打印出来。它会缩进显示嵌套的对象,使得层次关系一目了然,便于调试和理解代码中的数据。 例如: ```python data = { "name": "Alice", "age": [25, 26], "hobbies": ["reading", "gaming"] } pprint(data) ``` 输出结果将会是格式化的: ``` { 'name': 'Alice', 'age': [25, 26], 'hobbies': ['reading', 'gaming'] } ```
相关问题

import requests from bs4 import BeautifulSoup from pprint import pprint import pymysql url = "https://movie.douban.com/subject/30391186/comments?sort=new_score&status=P" headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3" } response = requests.get(url, headers=headers) soup = BeautifulSoup(response.text, "html.parser") comments = [] for comment in soup.select(".comment-item"): content = comment.select_one(".comment-content").get_text().strip() author = comment.select_one(".comment-info a").get_text().strip() likes = comment.select_one(".votes").get_text().strip() time = comment.select_one(".comment-time").get_text().strip() location = comment.select_one(".comment-location").contents[-1].strip() comments.append({ "content": content, "author": author, "likes": likes, "time": time, "location": location }) pprint(comments) db = pymysql.connect(host="localhost", user="root", password="password", database="test") cursor = db.cursor() for comment in comments: sql = "INSERT INTO comments (content, author, likes, time, location) VALUES (%s, %s, %s, %s, %s)" values = (comment["content"], comment["author"], comment["likes"], comment["time"], comment["location"]) cursor.execute(sql, values) db.commit(),我要爬取前五页的内容

好的,你可以使用一个循环来爬取前五页的内容: ``` import requests from bs4 import BeautifulSoup from pprint import pprint import pymysql db = pymysql.connect(host="localhost", user="root", password="password", database="test") cursor = db.cursor() for page in range(5): url = f"https://movie.douban.com/subject/30391186/comments?start={page*20}&limit=20&sort=new_score&status=P" headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3" } response = requests.get(url, headers=headers) soup = BeautifulSoup(response.text, "html.parser") comments = [] for comment in soup.select(".comment-item"): content = comment.select_one(".comment-content").get_text().strip() author = comment.select_one(".comment-info a").get_text().strip() likes = comment.select_one(".votes").get_text().strip() time = comment.select_one(".comment-time").get_text().strip() location = comment.select_one(".comment-location").contents[-1].strip() comments.append({ "content": content, "author": author, "likes": likes, "time": time, "location": location }) pprint(comments) sql = "INSERT INTO comments (content, author, likes, time, location) VALUES (%s, %s, %s, %s, %s)" values = (comment["content"], comment["author"], comment["likes"], comment["time"], comment["location"]) cursor.execute(sql, values) db.commit() db.close() ``` 这段代码会循环5次,每次爬取20条评论,然后将这些评论存储到数据库中。

import requests from bs4 import BeautifulSoup from pprint import pprint url = "https://movie.douban.com/subject/30391186/comments?sort=new_score&status=P" headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3" } response = requests.get(url, headers=headers) soup = BeautifulSoup(response.text, "html.parser") comments = [] for comment in soup.select(".comment-item"): content = comment.select_one(".comment-content").get_text().strip() author = comment.select_one(".comment-info a").get_text().strip() likes = comment.select_one(".votes").get_text().strip() time = comment.select_one(".comment-time").get_text().strip() location = comment.select_one(".comment-location").contents[-1].strip() comments.append({ "content": content, "author": author, "likes": likes, "time": time, "location": location }) pprint(comments),我要爬取前五页的数据

好的,你可以使用以下代码来爬取前五页的数据: ``` import requests from bs4 import BeautifulSoup from pprint import pprint for page in range(5): url = "https://movie.douban.com/subject/30391186/comments?start={}&limit=20&sort=new_score&status=P".format(page*20) headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3" } response = requests.get(url, headers=headers) soup = BeautifulSoup(response.text, "html.parser") comments = [] for comment in soup.select(".comment-item"): content = comment.select_one(".comment-content").get_text().strip() author = comment.select_one(".comment-info a").get_text().strip() likes = comment.select_one(".votes").get_text().strip() time = comment.select_one(".comment-time").get_text().strip() location = comment.select_one(".comment-location").contents[-1].strip() comments.append({ "content": content, "author": author, "likes": likes, "time": time, "location": location }) pprint(comments) ``` 这段代码中,我们使用了一个循环来爬取前五页的数据。在每次循环中,我们构造了一个新的URL,将页码作为参数传递给URL,然后使用requests库发送GET请求。然后使用BeautifulSoup库解析HTML响应,并将每个评论的信息存储到一个字典中,最后使用pprint库打印出来。
阅读全文

相关推荐

import requests from bs4 import BeautifulSoup from pprint import pprint import pymysql # 定义函数:将评论数据保存到数据库中 def save_to_navicat(comments): # 创建数据库连接 conn = pymysql.connect(host='localhost', user='root', password='root', db='pa', charset='utf8') # 创建游标对象 cursor = conn.cursor() # 插入数据到 MySQL 数据库中 for comment in comments: sql = ''' INSERT INTO comment (content, author, likes, time, location) VALUES (%s, %s, %s, %s, %s) ''' try: # 执行 SQL 插入语句 cursor.execute(sql, (comment['content'], comment['author'], comment['likes'], comment['time'], comment['location'])) # 提交事务 conn.commit() except Exception as e: # 如果发生异常,回滚事务 conn.rollback() print('Insert error:', e) # 关闭游标和连接 cursor.close() conn.close() for page in range(5): url = "https://movie.douban.com/subject/30391186/comments?start={}&limit=20&sort=new_score&status=P".format(page*20) headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3" } response = requests.get(url, headers=headers) soup = BeautifulSoup(response.text, "html.parser") comments = [] for comment in soup.select(".comment-item"): content = comment.select_one(".comment-content").get_text().strip() author = comment.select_one(".comment-info a").get_text().strip() likes = comment.select_one(".votes").get_text().strip() time = comment.select_one(".comment-time").get_text().strip() location = comment.select_one(".comment-location").contents[-1].strip() comments.append({ "content": content, "author": author, "likes": likes, "time": time, "location": location }) print("第{}页的数据:".format(page+1)) pprint(comments),为什么数据库没有数据,完善代码

import pandas as pd import numpy as np import os from pprint import pprint from pandas import DataFrame from scipy import interpolate data_1_hour_predict_raw = pd.read_excel('./data/附件1 监测点A空气质量预报基础数据.xlsx' ) data_1_hour_actual_raw = pd.read_excel('./data/附件1 监测点A空气质量预报基础数据.xlsx' ) data_1_day_actual_raw = pd.rea df_1_predict = data_1_hour_actual_raw df_1_actual = data_1_day_actual_raw df_1_predict.set_axis( ['time', 'place', 'so2', 'no2', 'pm10', 'pm2.5', 'o3', 'co', 'temperature', 'humidity', 'pressure', 'wind', 'direction'], axis='columns', inplace=True) df_1_actual.set_axis(['time', 'place', 'so2', 'no2', 'pm10', 'pm2.5', 'o3', 'co'], axis='columns', inplace=True) modeltime_df_actual = df_1_actual['time'] modeltime_df_pre = df_1_predict['time'] df_1_actual = df_1_actual.drop(columns=['place', 'time']) df_1_predict = df_1_predict.drop(columns=['place', 'time']) df_1_predict = df_1_predict.replace('—', np.nan) df_1_predict = df_1_predict.astype('float') df_1_predict[df_1_predict < 0] = np.nan # 重新插入time列 df_1_actual.insert(0, 'time', modeltime_df_actual) df_1_predict.insert(0, 'time', modeltime_df_pre) # 线性插值的方法需要单独处理最后一行的数据 data_1_actual = df_1_actual[0:-3] data_1_predict = df_1_predict data_1_predict.iloc[-1:]['pm10'] = 22.0 data_1_actual_knn = df_1_actual[0:-3] data_1_predict_knn: DataFrame = df_1_predict for indexs in data_1_actual.columns: if indexs == 'time': continue data_1_actual['rownum'] = np.arange(data_1_actual.shape[0]) df_nona = data_1_actual.dropna(subset=[indexs]) f = interpolate.interp1d(df_nona['rownum'], df_nona[indexs]) data_1_actual[indexs] = f(data_1_actual['rownum']) data_1_actual = data_1_actual.drop(columns=['rownum']) for indexs in data_1_predict.columns: if indexs == 'time': continue data_1_predict['rownum'] = np.arange(data_1_predict.shape[0]) df_nona = data_1_predict.dropna(subset=[indexs]) f = interpolate.interp1d(df_nona['rownum'], df_nona[indexs]) data_1_predict[indexs] = f(data_1_predict['rownum']) data_1_predict = data_1_predict.drop(columns=['rownum']) writer = pd.E

import re import subprocess import requests import json from pprint import pprint url = "https://www.bilibili.com/video/BV1fi4y1K7Na/?spm_id_from=333.1007.top_right_bar_window_default_collection.content.click&vd_source=4545a0e83c576b93b1abd0ca4e16ab4d" headers = { "referer": "https://www.bilibili.com/", "user-agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.51 Safari/537.36", "cookie":"i-wanna-go-back=-1; _uuid=C106610D104-6D27-6584-66E1-FCDE2859156A75277infoc; FEED_LIVE_VERSION=V8; home_feed_column=5; buvid3=D2AE610A6-6EE7-B48E-10C51-9E8269B10C88776898infoc; header_theme_version=CLOSE; DedeUserID=1852701166; DedeUserID__ckMd5=ac9474243bdd3627; nostalgia_conf=-1; CURRENT_PID=e16a0380-e1cd-11ed-a872-2f97008834b2; rpdid=|(k|k~u|)RY)0J'uY)kkl|m)m; b_ut=5; browser_resolution=1482-792; CURRENT_BLACKGAP=0; buvid_fp_plain=undefined; CURRENT_FNVAL=4048; b_nut=1683881044; hit-new-style-dyn=1; hit-dyn-v2=1; SESSDATA=3e3851ea%2C1704423625%2C1959b%2A72SteLEoaNhz8Q6ifKiYFGRpSBjpMp2TG-QWAao2iv2yR5ci81QOokmXevCx102rLpwUc9qgAAQgA; bili_jct=2ea1af9f8ae6f19867c8cd3dc1bfd047; fingerprint=dd5c1878758a4b317420b66dad49b677; b_lsid=97F1E5C5_1894440C9F1; buvid4=9D5A25A5-A648-0805-4C59-8178C4E4362B31067-023042319-0THAXXn9jKfRyf3rDh/fQA%3D%3D; buvid_fp=dd5c1878758a4b317420b66dad49b677; sid=7i4lnopc; bp_video_offset_1852701166=817021346575810700; PVID=1" } response = requests.get(url, headers=headers) name = re.findall('"title":"(.*?)"',response.text)[0].replace(' ','') html_data = re.findall('<script>window.__playinfo__=(.*?)</script>',response.text)[0] json_data = json.loads(html_data) #print(name) # print(html_data) # print(json_data) # pprint(json_data) audio_url = json_data['data']['dash']['audio'][0]['baseUrl'] video_url = json_data['data']['dash']['video'][0]['baseUrl'] # print(audio_url) # print(video_url) audio_content = requests.get(url=audio_url,headers=headers).content video_content = requests.get(url=video_url,headers=headers).content with open("D:\\study\\B站\\素材\\" + name + ".mp3", mode="wb") as audio: audio.write(audio_content) with open("D:\\study\\B站\\素材\\" + name + ".mp4", mode="wb") as video: video.write(video_content) cmd = f'ffmpeg -i D:\\study\\B站\\素材\\{name}.mp4 -i D:\\study\\B站\\素材\\{name}.mp3 -c:a aac -strict experimental D:\\study\\B站\\视频1080P\\{name}output.mp4' subprocess.run(cmd)

最新推荐

recommend-type

stays mad 反PCL宣传库。Anti PCL pro.zip

stays mad 反PCL宣传库。Anti PCL pro
recommend-type

伊犁师范大学在四川2020-2024各专业最低录取分数及位次表.pdf

那些年,与你同分同位次的同学都去了哪里?全国各大学在四川2020-2024年各专业最低录取分数及录取位次数据,高考志愿必备参考数据
recommend-type

yolo算法-植物数据集-1417张图像带标签adamweeds.zip

yolo系列算法目标检测数据集,包含标签,可以直接训练模型和验证测试,数据集已经划分好,适用yolov5,yolov8,yolov9,yolov7,yolov10,yolo11算法; 包含两种标签格:yolo格式(txt文件)和voc格式(xml文件),分别保存在两个文件夹中; yolo格式:<class> <x_center> <y_center> <width> <height>, 其中: <class> 是目标的类别索引(从0开始)。 <x_center> 和 <y_center> 是目标框中心点的x和y坐标,这些坐标是相对于图像宽度和高度的比例值,范围在0到1之间。 <width> 和 <height> 是目标框的宽度和高度,也是相对于图像宽度和高度的比例值
recommend-type

SSM动力电池数据管理系统源码及数据库详解

资源摘要信息:"SSM动力电池数据管理系统(源码+数据库)301559" 该动力电池数据管理系统是一个完整的项目,基于Java的SSM(Spring, SpringMVC, Mybatis)框架开发,集成了前端技术Vue.js,并使用Redis作为数据缓存,适用于电动汽车电池状态的在线监控和管理。 1. 系统架构设计: - **Spring框架**:作为整个系统的依赖注入容器,负责管理整个系统的对象生命周期和业务逻辑的组织。 - **SpringMVC框架**:处理前端发送的HTTP请求,并将请求分发到对应的处理器进行处理,同时也负责返回响应到前端。 - **Mybatis框架**:用于数据持久化操作,主要负责与数据库的交互,包括数据的CRUD(创建、读取、更新、删除)操作。 2. 数据库管理: - 系统中包含数据库设计,用于存储动力电池的数据,这些数据可以包括电池的电压、电流、温度、充放电状态等。 - 提供了动力电池数据格式的设置功能,可以灵活定义电池数据存储的格式,满足不同数据采集系统的要求。 3. 数据操作: - **数据批量导入**:为了高效处理大量电池数据,系统支持批量导入功能,可以将数据以文件形式上传至服务器,然后由系统自动解析并存储到数据库中。 - **数据查询**:实现了对动力电池数据的查询功能,可以根据不同的条件和时间段对电池数据进行检索,以图表和报表的形式展示。 - **数据报警**:系统能够根据预设的报警规则,对特定的电池数据异常状态进行监控,并及时发出报警信息。 4. 技术栈和工具: - **Java**:使用Java作为后端开发语言,具有良好的跨平台性和强大的生态支持。 - **Vue.js**:作为前端框架,用于构建用户界面,通过与后端进行数据交互,实现动态网页的渲染和用户交互逻辑。 - **Redis**:作为内存中的数据结构存储系统,可以作为数据库、缓存和消息中间件,用于减轻数据库压力和提高系统响应速度。 - **Idea**:指的可能是IntelliJ IDEA,作为Java开发的主要集成开发环境(IDE),提供了代码自动完成、重构、代码质量检查等功能。 5. 文件名称解释: - **CS741960_***:这是压缩包子文件的名称,根据命名规则,它可能是某个版本的代码快照或者备份,具体的时间戳表明了文件创建的日期和时间。 这个项目为动力电池的数据管理提供了一个高效、可靠和可视化的平台,能够帮助相关企业或个人更好地监控和管理电动汽车电池的状态,及时发现并处理潜在的问题,以保障电池的安全运行和延长其使用寿命。
recommend-type

管理建模和仿真的文件

管理Boualem Benatallah引用此版本:布阿利姆·贝纳塔拉。管理建模和仿真。约瑟夫-傅立叶大学-格勒诺布尔第一大学,1996年。法语。NNT:电话:00345357HAL ID:电话:00345357https://theses.hal.science/tel-003453572008年12月9日提交HAL是一个多学科的开放存取档案馆,用于存放和传播科学研究论文,无论它们是否被公开。论文可以来自法国或国外的教学和研究机构,也可以来自公共或私人研究中心。L’archive ouverte pluridisciplinaire
recommend-type

MapReduce分区机制揭秘:作业效率提升的关键所在

![MapReduce分区机制揭秘:作业效率提升的关键所在](http://www.uml.org.cn/bigdata/images/20180511413.png) # 1. MapReduce分区机制概述 MapReduce是大数据处理领域的一个核心概念,而分区机制作为其关键组成部分,对于数据处理效率和质量起着决定性作用。在本章中,我们将深入探讨MapReduce分区机制的工作原理以及它在数据处理流程中的基础作用,为后续章节中对分区策略分类、负载均衡、以及分区故障排查等内容的讨论打下坚实的基础。 MapReduce的分区操作是将Map任务的输出结果根据一定规则分发给不同的Reduce
recommend-type

在电子商务平台上,如何通过CRM系统优化客户信息管理和行为分析?请结合DELL的CRM策略给出建议。

构建电商平台的CRM系统是一项复杂的任务,需要综合考虑客户信息管理、行为分析以及与客户的多渠道互动。DELL公司的CRM策略提供了一个绝佳的案例,通过它我们可以得到构建电商平台CRM系统的几点启示。 参考资源链接:[提升电商客户体验:DELL案例下的CRM策略](https://wenku.csdn.net/doc/55o3g08ifj?spm=1055.2569.3001.10343) 首先,CRM系统的核心在于以客户为中心,这意味着所有的功能和服务都应该围绕如何提升客户体验来设计。DELL通过其直接销售模式和个性化服务成功地与客户建立起了长期的稳定关系,这提示我们在设计CRM系统时要重
recommend-type

R语言桑基图绘制与SCI图输入文件代码分析

资源摘要信息:"桑基图_R语言绘制SCI图的输入文件及代码" 知识点: 1.桑基图概念及其应用 桑基图(Sankey Diagram)是一种特定类型的流程图,以直观的方式展示流经系统的能量、物料或成本等的数量。其特点是通过流量的宽度来表示数量大小,非常适合用于展示在不同步骤或阶段中数据量的变化。桑基图常用于能源转换、工业生产过程分析、金融资金流向、交通物流等领域。 2.R语言简介 R语言是一种用于统计分析、图形表示和报告的语言和环境。它特别适合于数据挖掘和数据分析,具有丰富的统计函数库和图形包,可以用于创建高质量的图表和复杂的数据模型。R语言在学术界和工业界都得到了广泛的应用,尤其是在生物信息学、金融分析、医学统计等领域。 3.绘制桑基图在R语言中的实现 在R语言中,可以利用一些特定的包(package)来绘制桑基图。比较流行的包有“ggplot2”结合“ggalluvial”,以及“plotly”。这些包提供了创建桑基图的函数和接口,用户可以通过编程的方式绘制出美观实用的桑基图。 4.输入文件在绘制桑基图中的作用 在使用R语言绘制桑基图时,通常需要准备输入文件。输入文件主要包含了桑基图所需的数据,如流量的起点、终点以及流量的大小等信息。这些数据必须以一定的结构组织起来,例如表格形式。R语言可以读取包括CSV、Excel、数据库等不同格式的数据文件,然后将这些数据加载到R环境中,为桑基图的绘制提供数据支持。 5.压缩文件的处理及文件名称解析 在本资源中,给定的压缩文件名称为"27桑基图",暗示了该压缩包中包含了与桑基图相关的R语言输入文件及代码。此压缩文件可能包含了以下几个关键部分: a. 示例数据文件:可能是一个或多个CSV或Excel文件,包含了桑基图需要展示的数据。 b. R脚本文件:包含了一系列用R语言编写的代码,用于读取输入文件中的数据,并使用特定的包和函数绘制桑基图。 c. 说明文档:可能是一个Markdown或PDF文件,描述了如何使用这些输入文件和代码,以及如何操作R语言来生成桑基图。 6.如何在R语言中使用桑基图包 在R环境中,用户需要先安装和加载相应的包,然后编写脚本来定义桑基图的数据结构和视觉样式。脚本中会包括数据的读取、处理,以及使用包中的绘图函数来生成桑基图。通常涉及到的操作有:设定数据框(data frame)、映射变量、调整颜色和宽度参数等。 7.利用R语言绘制桑基图的实例 假设有一个数据文件记录了从不同能源转换到不同产品的能量流动,用户可以使用R语言的绘图包来展示这一流动过程。首先,将数据读入R,然后使用特定函数将数据映射到桑基图中,通过调整参数来优化图表的美观度和可读性,最终生成展示能源流动情况的桑基图。 总结:在本资源中,我们获得了关于如何在R语言中绘制桑基图的知识,包括了桑基图的概念、R语言的基础、如何准备和处理输入文件,以及通过R脚本绘制桑基图的方法。这些内容对于数据分析师和数据科学家来说是非常有价值的技能,尤其在需要可视化复杂数据流动和转换过程的场合。
recommend-type

"互动学习:行动中的多样性与论文攻读经历"

多样性她- 事实上SCI NCES你的时间表ECOLEDO C Tora SC和NCESPOUR l’Ingén学习互动,互动学习以行动为中心的强化学习学会互动,互动学习,以行动为中心的强化学习计算机科学博士论文于2021年9月28日在Villeneuve d'Asq公开支持马修·瑟林评审团主席法布里斯·勒菲弗尔阿维尼翁大学教授论文指导奥利维尔·皮耶昆谷歌研究教授:智囊团论文联合主任菲利普·普雷教授,大学。里尔/CRISTAL/因里亚报告员奥利维耶·西格德索邦大学报告员卢多维奇·德诺耶教授,Facebook /索邦大学审查员越南圣迈IMT Atlantic高级讲师邀请弗洛里安·斯特鲁布博士,Deepmind对于那些及时看到自己错误的人...3谢谢你首先,我要感谢我的两位博士生导师Olivier和Philippe。奥利维尔,"站在巨人的肩膀上"这句话对你来说完全有意义了。从科学上讲,你知道在这篇论文的(许多)错误中,你是我可以依
recommend-type

如何优化MapReduce分区过程:掌握性能提升的终极策略

![如何优化MapReduce分区过程:掌握性能提升的终极策略](https://img-blog.csdnimg.cn/20200727174414808.png) # 1. MapReduce分区过程概述 在处理大数据时,MapReduce的分区过程是数据处理的关键环节之一。它确保了每个Reducer获得合适的数据片段以便并行处理,这直接影响到任务的执行效率和最终的处理速度。 ## 1.1 MapReduce分区的作用 MapReduce的分区操作在数据从Map阶段转移到Reduce阶段时发挥作用。其核心作用是确定Map输出数据中的哪些数据属于同一个Reducer。这一过程确保了数据