圆月山庄资源网 Design By www.vgjia.com
在读取https://github.com/Embedding/Chinese-Word-Vectors中的中文词向量时,选择了一个有3G多的txt文件,之前在做词向量时用的是word2vec,所以直接导入模型然后indexword即可。
因为这是一个txt大文件,尝试了DataFrame,np.loadtxt等,都没有成功,其中主要遇到的问题是:
- 如何读取完整的大文件,而不会出现内存不足memery error等问题
- 将读取出来的文件,保存为npy文件
- 根据词找到对应的向量
解决办法:
尝试使用的代码:
代码1: try: lines=np.loadtxt(filepath) catch: 感觉这块不会写了咦,,, print(ValueError) 但这样的话,它就不会继续循环去读上边的txt了呢
代码2: lines=[] with open(filepath) as f: for line in f: lines.append(line) np.save(filepath,lines)
代码3 def readEmbedFile(embedFile): # embedId = {} # input = open(embedFile,'r',encoding="utf-8") # lines = [] # a=0 # for line in input: # lines.append(line) # a=a+1 # print(a) # nwords = len(lines) - 1 # splits = lines[1].strip().split(' ') # 因为第一行是统计信息,所以用第二行 # dim = len(splits) - 1 # embeddings=[] # # embeddings = [[0 for col in range(dim)] for row in range(nwords)] # b=0 # for lineId in range(len(lines)): # b=b+1 # print(b) # splits = lines[lineId].split(' ') # if len(splits) > 2: # # embedId赋值 # embedId[splits[0]] = lineId # # embeddings赋值 # emb = [float(splits[i]) for i in range(1, 300)] # embeddings.append(emb) # return embedId, embeddings
代码4: def load_txt(filename): lines=[] vec_dict={} with open(filename,r) as f: for line in f: list=line.strip() lines.append(line) for i, line in emuate(lines): if i=0: continue line=line.split(" ") wordID=line[0] wordvec=[float line[i] for i in range(1,300)] vec_dict[wordId]=np.array(wordvec) return vec_dict
具体内存不足主要的原因是:
我的虚拟机中确实内存不太够,后来使用实验室32G的主机后,可以得到idvec,而得不到向量的,报的错还是memory error.
另一个原因,是需要把词向量转换为float形式,在python中str 占的内存>float类型,如代码所示:
print("str",sys.getsizeof("")) print("float",sys.getsizeof(1.1)) print("int",sys.getsizeof(1)) print("list",sys.getsizeof([])) print("tuple",sys.getsizeof(())) print("dic",sys.getsizeof([]))
str 49 float 24 int 28 list 64 tuple 48 dic 64
在我的电脑,64位操作系统,64位的python, 所占内存大小排序为:
dic=list>str>tuple>int>float
读取时候可以用np.load().item就可以复原原来的字典,主要参照下述文件:
然后通过python的字典操作就可以遍历得到每个词的词向量了,dic[vocab]
心得:
距离完全解决项目的问题还有5~6的大关卡,但静下心来,一步步地做总会突破的呀!
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持。
圆月山庄资源网 Design By www.vgjia.com
广告合作:本站广告合作请联系QQ:858582 申请时备注:广告合作(否则不回)
免责声明:本站文章均来自网站采集或用户投稿,网站不提供任何软件下载或自行开发的软件! 如有用户或公司发现本站内容信息存在侵权行为,请邮件告知! 858582#qq.com
免责声明:本站文章均来自网站采集或用户投稿,网站不提供任何软件下载或自行开发的软件! 如有用户或公司发现本站内容信息存在侵权行为,请邮件告知! 858582#qq.com
圆月山庄资源网 Design By www.vgjia.com
暂无评论...
更新日志
2024年11月06日
2024年11月06日
- 雨林唱片《赏》新曲+精选集SACD版[ISO][2.3G]
- 罗大佑与OK男女合唱团.1995-再会吧!素兰【音乐工厂】【WAV+CUE】
- 草蜢.1993-宝贝对不起(国)【宝丽金】【WAV+CUE】
- 杨培安.2009-抒·情(EP)【擎天娱乐】【WAV+CUE】
- 周慧敏《EndlessDream》[WAV+CUE]
- 彭芳《纯色角3》2007[WAV+CUE]
- 江志丰2008-今生为你[豪记][WAV+CUE]
- 罗大佑1994《恋曲2000》音乐工厂[WAV+CUE][1G]
- 群星《一首歌一个故事》赵英俊某些作品重唱企划[FLAC分轨][1G]
- 群星《网易云英文歌曲播放量TOP100》[MP3][1G]
- 方大同.2024-梦想家TheDreamer【赋音乐】【FLAC分轨】
- 李慧珍.2007-爱死了【华谊兄弟】【WAV+CUE】
- 王大文.2019-国际太空站【环球】【FLAC分轨】
- 群星《2022超好听的十倍音质网络歌曲(163)》U盘音乐[WAV分轨][1.1G]
- 童丽《啼笑姻缘》头版限量编号24K金碟[低速原抓WAV+CUE][1.1G]