上传大文件时出现段错误。
我已经通过io.Reader的Read方法以字节为单位读取文件数据。现在,我需要将数据字节连续上传到StorJ。
Storj,设计为与S3兼容的分布式对象存储系统,一旦上传,就不允许更改对象。基本上,您可以删除或覆盖,但不能追加。
但是您可以使用Storj作为后端,进行支持附件的似乎的操作。例如,通过在对象的路径后附加序数,并在每次添加时将其递增。当您要下载整个内容时,您将遍历所有部分并全部获取。或者,如果您只想寻找特定的偏移量,则可以计算该偏移量所在的部分,然后从那里下载。
sj://bucket/my/object.name/000
sj://bucket/my/object.name/001
sj://bucket/my/object.name/002
sj://bucket/my/object.name/003
sj://bucket/my/object.name/004
sj://bucket/my/object.name/005
当然,当多个客户端试图同时添加到您的“文件”时,该问题仍未解决。如果没有某种额外的协调层,它们有时将最终覆盖彼此的对象。