Python实现读取TXT文件数据并存进内置数据库SQLite3的方法_python读写txt文件

Python

TXT文件

38 浏览量更新于2023-05-10 评论收藏 67KB PDF 举报

身份认证购VIP最低享 7 折!

领优惠券(最高得80元）

资源详情

资源评论

资源推荐

Python实现读取实现读取TXT文件数据并存进内置数据库文件数据并存进内置数据库SQLite3的方的方

法法

主要介绍了Python实现读取TXT文件数据并存进内置数据库SQLite3的方法,涉及Python针对txt文件的读取及

sqlite3数据库的创建、插入、查询等相关操作技巧,需要的朋友可以参考下

本文实例讲述了Python实现读取TXT文件数据并存进内置数据库SQLite3的方法。分享给大家供大家参考，具体如下：

当TXT文件太大，计算机内存不够时，我们可以选择按行读取TXT文件，并将其存储进Python内置轻量级splite数据库,这样可

以加快数据的读取速度，当我们需要重复读取数据时，这样的速度加快所带来的时间节省是非常可观的，比如，当我们在训练

数据时，要迭代10万次，即要从文件中读取10万次，即使每次只加快0.1秒，那么也能节省几个小时的时间了。

#创建数据库并把txt文件的数据存进数据库

import sqlite3 #导入sqlite3

cx = sqlite3.connect('./train.db') #创建数据库，如果数据库已经存在，则链接数据库；如果数据库不存在，则先创建数据库，再链接该数据库。

cu = cx.cursor() #定义一个游标，以便获得查询对象。

cu.execute('create table if not exists train4 (id integer primary key,name text)') #创建表

fr = open('data_sample.txt') #打开要读取的txt文件

i = 0

for line in fr.readlines(): #将数据按行插入数据库的表train4中。

cu.execute('insert into train4 values(?,?)',(i,line))

i +=1

cu.close() #关闭游标

cx.commit() #事务提交

cx.close() #关闭数据库

查询数据：

cu.execute('select * from train4 where id = ?',(i,)) #i代表你要读取表train4中某一行的数据

result = cu.fetchall()

注：注：如果前面已经关闭了数据库，那么在查询时要重新打开数据库，并创建游标。这一点要注意一下。

完整的查询程序是这样的：

import sqlite3

cx = sqlite3.connect('./train.db')

cu = cx.cursor()

for i in range(5):

cu.execute('select * from train4 where id = ?',(i,))

result = cu.fetchall()

cx.commit()

cu.close()

cx.close()

另：另：这里再为大家附带一个SQLite3数据操作类供大家参考使用：

import sqlite3

# ***************************************************

# *

# * Description: Python操作SQLite3数据库辅助类(查询构造器)

# * Author: wangye

# *

# ***************************************************

def _wrap_value(value):

return repr(value)

def _wrap_values(values):

return list(map(_wrap_value, values))

def _wrap_fields(fields):

for key,value in fields.items():

fields[key] = _wrap_value(value)

return fields

def _concat_keys(keys):

return "[" + "],[".join(keys) + "]"

def _concat_values(values):

return ",".join(values)

def _concat_fields(fields, operator = (None, ",")):

if operator:

unit_operator, group_operator = operator

# fields = _wrap_fields(fields)

compiled = []

for key,value in fields.items():

compiled.append("[" + key + "]")

本内容试读结束，登录后可阅读更多

下载后可阅读完整内容，剩余3页未读，立即下载

weixin_38547882

粉丝: 4
资源: 885

会员权益专享

Python实现读取TXT文件数据并存进内置数据库SQLite3的方法

评论0

会员权益专享

最新资源

Python实现读取TXT文件数据并存进内置数据库SQLite3的方法

评论0

Python3 tkinter 实现文件读取及保存功能

pthon3读取txt写入sqlite的代码例子

Python实现将SQLite中的数据直接输出为CVS的方法示例

SQLite数据库读取优化方法研究

。python读取excel数据写入到sqlite数据库中

python 读取txt文件插入数据库

python读取txt文件，将每行数据按一条数据算，存储到数据库中

python如何读取数据量大的sqlite3数据库并且不会造成内存溢出，并且采用多线程速度提取

python读取高考题目txt文件怎么建立数据库

怎么从 python sqlite3数据库中读取数据？

没有安装sqlite3数据库，如何用python中的pandas读取sqlite文件

python读取excel文件数据库_python——快速读取excel文件并插入数据库

没有安装sqlite3数据库，如何用python中的pandas读取.sqlite后缀文件，python代码展示

python怎么读取有加密的sqlite数据库

用python读取sqlite数据库文件找到id相同的导出为csv文件

python sqlite 读取session文件

python无法读取已加密的sqlite数据库怎么解决

用Python数据库sqlite3

python编写将记事本(任一文本信息)中的信息存储至数据库sqlite中,提交代码和数据

在没有安装sqlite3数据库以及电脑上也没有sql的前提下，如何用python中的pandas读取.sqlite后缀文件

会员权益专享

最新资源