python获取txt文件词向量过程详解

python

txt文件

31 浏览量更新于2023-05-11 评论收藏 49KB PDF 举报

身份认证购VIP最低享 7 折!

领优惠券(最高得80元）

资源详情

资源评论

资源推荐

python获取获取txt文件词向量过程详解文件词向量过程详解

主要介绍了python获取txt文件词向量过程详解，如何读取完整的大文件，而不会出现内存不足memery error等

问题，将读取出来的文件，保存为npy文件，根据词找到对应的向量,需要的朋友可以参考下

在读取https://github.com/Embedding/Chinese-Word-Vectors中的中文词向量时，选择了一个有3G多的txt文件，之前在做词向

量时用的是word2vec，所以直接导入模型然后indexword即可。

因为这是一个txt大文件，尝试了DataFrame，np.loadtxt等，都没有成功，其中主要遇到的问题是：

如何读取完整的大文件，而不会出现内存不足memery error等问题

将读取出来的文件，保存为npy文件

根据词找到对应的向量

解决办法解决办法：

尝试使用的代码：

代码1:

try:

lines=np.loadtxt(filepath)

catch:

感觉这块不会写了咦，，，

print(ValueError)

但这样的话，它就不会继续循环去读上边的txt了呢

代码2：

lines=[]

with open(filepath) as f:

for line in f:

lines.append(line)

np.save(filepath,lines)

代码3

def readEmbedFile(embedFile):

# embedId = {}

# input = open(embedFile,'r',encoding="utf-8")

# lines = []

# a=0

# for line in input:

# lines.append(line)

# a=a+1

# print(a)

# nwords = len(lines) - 1

# splits = lines[1].strip().split(' ') # 因为第一行是统计信息，所以用第二行

# dim = len(splits) - 1

# embeddings=[]

# # embeddings = [[0 for col in range(dim)] for row in range(nwords)]

# b=0

# for lineId in range(len(lines)):

# b=b+1

# print(b)

# splits = lines[lineId].split(' ')

# if len(splits) > 2:

# # embedId赋值

# embedId[splits[0]] = lineId

# # embeddings赋值

# emb = [float(splits[i]) for i in range(1, 300)]

# embeddings.append(emb)

# return embedId, embeddings

代码4：

def load_txt(filename):

lines=[]

vec_dict={}

with open(filename,r) as f:

for line in f:

list=line.strip()

lines.append(line)

for i, line in emuate(lines):

if i=0:

continue

line=line.split(" ")

wordID=line[0]

wordvec=[float line[i] for i in range(1,300)]

vec_dict[wordId]=np.array(wordvec)

本内容试读结束，登录后可阅读更多

下载后可阅读完整内容，剩余1页未读，立即下载

weixin_38607282

粉丝: 3
资源: 973

会员权益专享

python获取txt文件词向量过程详解

评论0

会员权益专享

最新资源

python获取txt文件词向量过程详解

评论0

Python-在Python中使用少量内存的快速词向量查询

Python-30种语言预训练词向量模型

Python-100ChineseWordVectors上百种预训练中文词向量

python生成txt文本词向量

使用python代码举例说明词向量

python读取txt数据转化为向量

python读取txt文件

读取txt文件进行词向量化

Python读取TXT文件

python 读取txt文件转化成dataframe

python读取txt文件的数据

python读取txt文件的代码

python 读取txt文档里的列

python synonyms中所需的中文词向量文件

python读取csv和txt数据转换成向量的实例

Python-synonyms中文近义词工具包

发卡系统源码无授权版 带十多套模板

STM32F103系列PWM输出应用之纸短情长音乐——无源蜂鸣器.rar

基于matlab开发的rvm回归预测 RVM采取是与支持向量机相同的函数形式稀疏概率模型，对未知函数进行预测或分类.rar

STM32 CubeMX FreeRtos系统 基于lwRB通用环形缓冲区的串口非阻塞发送

会员权益专享

最新资源

发卡系统源码无授权版带十多套模板

STM32 CubeMX FreeRtos系统基于lwRB通用环形缓冲区的串口非阻塞发送