我无法找到一个明确的解决方案,所以希望这个问题在将来对其他人有用。
基本上我正在创建一个h5py对象,如下所示:
keys_d = [matrix_l2T.data, matrix_l2T.indices, matrix_l2T.indptr]
keys_n = ['data', 'indices', 'indptr' ]
file_to_save = h5py.File(FILENAME)
for i,j in zip(keys_n, keys_d):
file_to_save.create_dataset(i, data = j)
按如下方式上传到AWS:
s3 = boto3.client('s3')
s3.upload_file(Filename = FILENAME, Key = KEY, Bucket = BUCKET)
下载如下:
s3 = boto3.resource('s3')
try:
s3.Bucket(BUCKET_NAME).download_file(KEY, FILENAME) except botocore.exceptions.ClientError as e:
if e.response['Error']['Code'] == "404":
print("The object does not exist.")
else:
raise
然后我尝试以各种方式打开此文件,但似乎没有错误执行。
我努力了:
h5py.File(FILENAME,'r')
我得到了:
OSError: Unable to open file (bad object header version number)
我也尝试过:
with open(FILENAME, 'rb') as f:
a = f.read()
我需要rb因为没有它我得到'utf-8'编解码器无法解码位置0中的字节0x89:无效的起始字节。最后一段代码返回二进制代码,不确定接下来应该做什么。
我解决了这个问题。我没有关闭h5py文件。人们需要补充一点
file_to_save.close()
在上传到aws之前