无法使用sklearn加载'mnist-original'数据集

问题描述 投票:0回答:4

这个问题类似于问herehere。不幸的是,在我的情况下,建议的解决方案并没有解决问题。

我需要使用MNIST数据集但我无法获取它,即使我指定了scikit_learn_data/mldata/文件夹的地址(见下文)。我怎样才能解决这个问题?

万一它可能会有所帮助,我正在使用Anaconda。

码:

from sklearn.datasets.mldata import fetch_mldata

dataset = fetch_mldata('mnist-original', data_home='/Users/michelangelo/scikit_learn_data/mldata/')
mnist = fetch_mldata('MNIST original')

错误:

---------------------------------------------------------------------------
IOError                                   Traceback (most recent call last)
<ipython-input-5-dc4d45bc928e> in <module>()
----> 1 mnist = fetch_mldata('MNIST original')

/Users/michelangelo/anaconda2/lib/python2.7/site-packages/sklearn/datasets/mldata.pyc in fetch_mldata(dataname, target_name, data_name, transpose_data, data_home)
    168     # load dataset matlab file
    169     with open(filename, 'rb') as matlab_file:
--> 170         matlab_dict = io.loadmat(matlab_file, struct_as_record=True)
    171 
    172     # -- extract data from matlab_dict

/Users/michelangelo/anaconda2/lib/python2.7/site-packages/scipy/io/matlab/mio.pyc in loadmat(file_name, mdict, appendmat, **kwargs)
    134     variable_names = kwargs.pop('variable_names', None)
    135     MR = mat_reader_factory(file_name, appendmat, **kwargs)
--> 136     matfile_dict = MR.get_variables(variable_names)
    137     if mdict is not None:
    138         mdict.update(matfile_dict)

/Users/michelangelo/anaconda2/lib/python2.7/site-packages/scipy/io/matlab/mio5.pyc in get_variables(self, variable_names)
    290                 continue
    291             try:
--> 292                 res = self.read_var_array(hdr, process)
    293             except MatReadError as err:
    294                 warnings.warn(

/Users/michelangelo/anaconda2/lib/python2.7/site-packages/scipy/io/matlab/mio5.pyc in read_var_array(self, header, process)
    250            `process`.
    251         '''
--> 252         return self._matrix_reader.array_from_header(header, process)
    253 
    254     def get_variables(self, variable_names=None):

mio5_utils.pyx in scipy.io.matlab.mio5_utils.VarReader5.array_from_header()

mio5_utils.pyx in scipy.io.matlab.mio5_utils.VarReader5.array_from_header()

mio5_utils.pyx in scipy.io.matlab.mio5_utils.VarReader5.read_real_complex()

mio5_utils.pyx in scipy.io.matlab.mio5_utils.VarReader5.read_numeric()

mio5_utils.pyx in scipy.io.matlab.mio5_utils.VarReader5.read_element()

streams.pyx in scipy.io.matlab.streams.FileStream.read_string()

IOError: could not read bytes
python scikit-learn mnist
4个回答
3
投票

我刚遇到同样的问题,花了一些时间才找到问题。一个原因是,在第一次下载期间数据可能被破坏。删除缓存的数据。查找scikit数据主目录如下:

from sklearn.datasets.base import get_data_home 
print (get_data_home())

清理目录并重新下载数据集。这个解决方案适合我。供参考:https://github.com/ageron/handson-ml/issues/143

这也与以下问题有关:How to use datasets.fetch_mldata() in sklearn?


4
投票

这里问题的快速更新:

mldata.org似乎仍然失败。然后scikit-learn将删除fetch_mldata。

解决当下问题:由于使用上面的行会在data_home的位置创建一个空文件夹,在这里找到数据的副本:https://github.com/amplab/datascience-sp14/blob/master/lab7/mldata/mnist-original.mat并下载它。然后将它放在〜/ sklearn_data / mldata /为空。

它对我有用。


1
投票

代替 :

from sklearn.datasets.mldata import fetch_mldata

使用:

from sklearn.datasets import fetch_mldata

然后:

mnist = fetch_mldata('MNIST original')
X = mnist.data.astype('float64')
y = mnist.target

请看这个例子:


1
投票

对于有相同问题的人:这是一个连接问题。如果您收到类似的错误,请检查您是否拥有@ vivek-kumar建议的整个mnist-original.mat文件。当前文件大小:55.4 MB。

© www.soinside.com 2019 - 2024. All rights reserved.