如何在google-cloud-ml作业或Google云端存储中加载numpy npz文件？

Question

我有一个google-cloud-ml作业，需要从gs bucket加载numpy .npz文件。我跟着this example关于如何从gs加载.npy文件，但是因为.npz文件被压缩它对我不起作用。

这是我的代码：

from StringIO import StringIO
import tensorflow as tf
import numpy as np
from tensorflow.python.lib.io import file_io

f = StringIO(file_io.read_file_to_string('gs://my-bucket/data.npz'))
data = np.load(f)

这是错误信息：

UnicodeDecodeError: 'utf-8' codec can't decode byte 0xa2 in position 10: invalid start byte

显然，将数据编码到str是不正确的，但我不知道如何解决这个问题。

有人可以帮忙吗？谢谢！

Answer 1

事实证明我需要在True中将二进制标志设置为file_io.read_file_to_string()。

这是工作代码：

from io import BytesIO
import tensorflow as tf
import numpy as np
from tensorflow.python.lib.io import file_io

f = BytesIO(file_io.read_file_to_string('gs://my-bucket/data.npz', binary_mode=True))
data = np.load(f)

这适用于压缩和未压缩的.npz文件。

Answer 2

尝试使用io.BytesIO，它具有与Python 3向前兼容的额外好处：

import io
import tensorflow as tf
import numpy as np
from tensorflow.python.lib.io import file_io

f = io.BytesIO(file_io.read_file_to_string('gs://my-bucket/data.npz'),
               binary_mode=True)
data = np.load(f)

Answer 3

另一种方法是（注意早期TF版本和后期版本之间的区别）：

import numpy as np
from tensorflow.python.lib.io import file_io
from tensorflow import __version__ as tf_version

if tf_version >= '1.1.0':
    mode = 'rb'
else: # for TF version 1.0
    mode = 'r'

f_stream = file_io.FileIO('mydata.npz', mode)
d = np.load( BytesIO(f_stream.read()) )

同样，对于pickle文件：

import pickle
d = pickle.load(file_io.FileIO('mydata.pickle', mode))