keras lstm中的巨大内存负载(时间步长x功能)

问题描述 投票:0回答:1

有200万个文件组成的10000个文件(每个文件)。我把所有文件中的所有单词放在python列表中。 np.reshape是(10000,200000,256)。 256是因为一个热编码。这种方法的主要问题是内存,因为input_shape =(200000,256)。我不知道是否可以进行反演,比如np.reshape(10000,256,200000)和input_shape =(256,200000),因为所有内容都在同一个列表中,如果keras分裂每个都不确定正确地采样或者每个文件的单词都是用其他文件中的单词混洗,最后返回错误的分类。

python deep-learning keras lstm sentiment-analysis
1个回答
0
投票

干话,

找到独特的单词,

删除停用词,

阅读本教程;

https://machinelearningmastery.com/clean-text-machine-learning-python/

© www.soinside.com 2019 - 2024. All rights reserved.