How to read data from 100k+ files from S3 using S3 select and combine it in zip file to provide it to client in downloaded format

问题描述 投票:0回答:0

最近一直在做一个大下载。我的要求是使用 S3 Select 读取 S3 上超过 100k 的文件,以过滤数据并将下载格式的数据流式传输到客户端。从那以后,我编写了 2 个服务(1. 一个用于客户端交互(Controller),2. S3 交互(S3 Interactor))。当客户端点击下载按钮时,控制器调用 S3 Interactor 获取数据,但几分钟后,黑白服务连接中断。我不确定,如何让连接保持 30 分钟,因为数据可能以 TB 为单位。

node.js amazon-s3 download http-live-streaming software-design
© www.soinside.com 2019 - 2024. All rights reserved.