设为首页收藏本站

恭喜Java自学者论坛（https://www.javazxz.com）已经为数万Java学习者服务超过8年了！积累会员资料超过10000G+！
成为本站VIP会员，下载本站10000G+会员资源，会员资料板块，购买链接：点击进入购买VIP会员

Java自学者论坛»论坛 › IT知识库 › Python › 解决python字典结构内存暴涨问题

发新帖

查看: 780|回复: 0

解决python字典结构内存暴涨问题

TA的每日心情

	奋斗 3 天前

签到天数: 804 天

[LV.10]以坛为家III

2053 主题	2111 帖子	72万积分

Rank: 9 Rank: 9 Rank: 9

积分: 726782

发消息

发表于 2021-4-12 09:43:18 | 显示全部楼层 |阅读模式

本站已经为数万IT学习者服务超过8年！成为本站VIP会员，免金币下载本站10000G+VIP会员资料！所有VIP资料>>

背景：当读取一个key value数据的时候，python的字典结构会造成内存使用扩10倍左右，无可容忍。此文解决这个问题

数据：word2vec训练的结果，word对应400维的词向量。词表共1.6G左右

解决方案：利用python的class array进行解决。

步骤：1、将原始数据，转化成key，index和二进制的value数据块文件，其中二进制的value数据块大小为750M

2、array加载后按照索引进行查询效果：只占用了800M左右内存，大大缩小了内存的使用。查询采用：vec += word2vec_array[index*word2vec_dim + i]

培治

哎...今天够累的，签到来了1...

回复

使用道具举报

发新帖

|手机版|小黑屋|Java自学者论坛 ( 声明：本站文章及资料整理自互联网，用于Java自学者交流学习使用，对资料版权不负任何法律责任，若有侵权请及时联系客服屏蔽删除 )

GMT+8, 2024-11-27 12:12 , Processed in 0.066217 second(s), 30 queries .

Powered by Discuz! X3.4

Copyright © 2001-2021, Tencent Cloud.

快速回复 返回顶部 返回列表