Python3实现将本地JSON大数据文件写入MySQL数据库的方法_python将json数据写入mysql - CSDN文库

JSON大数据文件

165 浏览量更新于2023-03-03 评论 3 收藏 57KB PDF 举报

身份认证购VIP最低享 7 折!

领优惠券(最高得80元）

资源详情

资源评论

资源推荐

Python3实现将本地实现将本地JSON大数据文件写入大数据文件写入MySQL数据库的方数据库的方

法法

主要介绍了Python3实现将本地JSON大数据文件写入MySQL数据库的方法,涉及Python针对json大数据文件的逐

行读取、mysql数据库写入等相关操作技巧,需要的朋友可以参考下

本文实例讲述了Python3实现将本地JSON大数据文件写入MySQL数据库的方法。分享给大家供大家参考，具体如下：

最近导师给了一个yelp上的评论数据，数据量达到3.55个G，如果进行分析时直接使用本地文件，选择python来分析，那么效

率是非常低的；另一方面使用SQL来储存文本文件最为安全，之前使用CSV，txt存储的文本文件最后莫名其妙地出现一些奇

怪字符，导致读取数据分割时出现错乱。下面给出一个简单的代码，将本地JSON文件内容存入数据库。

说明：说明：python版本为3.5，使用第三方库为pymysql。因为数据量比较大，不能一次性读取到内存（否则内存报错），这里使

用逐行读取的方式。数据库先创建后再使用以下代码；

import json

import pymysql

# 读取review数据，并写入数据库

# 导入数据库成功，总共4736897条记录

def prem(db):

cursor = db.cursor()

cursor.execute("SELECT VERSION()")

data = cursor.fetchone()

print("Database version : %s " % data) # 结果表明已经连接成功

cursor.execute("DROP TABLE IF EXISTS review") # 习惯性

sql = """CREATE TABLE review (

review_id VARCHAR(100),

user_id VARCHAR(100),

business_id VARCHAR(200),

stars INT,

text VARCHAR(10000) NOT NULL,

useful INT,

funny INT,

cool INT)"""

cursor.execute(sql) # 根据需要创建一个表格

def reviewdata_insert(db):

with open('E:/data/yelp_data/dataset/review.json', encoding='utf-8') as f:

i = 0

while True:

i += 1

print(u'正在载入第%s行......' % i)

try:

lines = f.readline() # 使用逐行读取的方法

review_text = json.loads(lines) # 解析每一行数据

result = []

result.append((review_text['review_id'], review_text['user_id'], review_text['business_id'],review_text['stars'], review_text['text'], review_text['useful'],

review_text['funny'], review_text['cool']))

print(result)

inesrt_re = "insert into review(review_id, user_id, business_id, stars, text, useful, funny, cool) values (%s, %s, %s, %s,%s, %s,%s, %s)"

cursor = db.cursor()

cursor.executemany(inesrt_re, result)

db.commit()

except Exception as e:

db.rollback()

print(str(e))

break

if __name__ == "__main__": # 起到一个初始化或者调用函数的作用

db = pymysql.connect("localhost", "root", "password（你的密码）", "数据库名称", charset='utf8')

cursor = db.cursor()

prem(db)

reviewdata_insert(db)

cursor.close()

PS：这里再为大家推荐几款比较实用的：这里再为大家推荐几款比较实用的json在线工具供大家参考使用：在线工具供大家参考使用：

在线在线JSON代码检验、检验、美化、格式化工具：代码检验、检验、美化、格式化工具：

http://tools.jb51.net/code/json

JSON在线格式化工具：在线格式化工具：

http://tools.jb51.net/code/jsonformat

在线在线XML/JSON互相转换工具：互相转换工具：

http://tools.jb51.net/code/xmljson

本内容试读结束，登录后可阅读更多

下载后可阅读完整内容，剩余1页未读，立即下载

评论0

weixin_38672815

粉丝: 11
资源: 870

会员权益专享

图片转文字

全年可省5，000元立即开通

最新资源

资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！点击此处反馈