如何使用 AWS SDK v3 将流上传到 S3

Question

我必须将文件从 API 端点传输到两个不同的存储桶。 原始上传是使用：

curl -X PUT -F "data=@sample" "http://localhost:3000/upload/1/1"

文件上传的端点：

const PassThrough = require('stream').PassThrough;

async function uploadFile (req, res) {
  try {
    const firstS3Stream = new PassThrough();
    const secondS3Stream = new PassThrough();
    req.pipe(firstS3Stream);
    req.pipe(secondS3Stream);

    await Promise.all([
      uploadToFirstS3(firstS3Stream),
      uploadToSecondS3(secondS3Stream),
    ]);
    return res.end();
  } catch (err) {
    console.log(err)
    return res.status(500).send({ error: 'Unexpected error during file upload' });
  }
}

如您所见，我使用两个 PassThrough 流，以便将请求流复制为两个可读流，如 在此 SO 线程中中所建议的那样。

这段代码保持不变，这里有趣的是

uploadToFirstS3

和

uploadToSecondS3

函数。在这个最小的示例中，两者使用不同的配置执行完全相同的操作，我在这里仅花费一个。

什么效果好：

const aws = require('aws-sdk');

const s3 = new aws.S3({
  accessKeyId: S3_API_KEY,
  secretAccessKey: S3_API_SECRET,
  region: S3_REGION,
  signatureVersion: 'v4',
});

const uploadToFirstS3 = (stream) => (new Promise((resolve, reject) => {
  const uploadParams = {
    Bucket: S3_BUCKET_NAME,
    Key: 'some-key',
    Body: stream,
  };
  s3.upload(uploadParams, (err) => {
    if (err) reject(err);
    resolve(true);
  });
}));

这段代码（基于 aws-sdk 包）运行良好。我的问题是，我希望它与 @aws-sdk/client-s3 包一起运行，以减少项目的大小。

什么不起作用：

我首先尝试使用S3Client.send(PutObjectCommand):

const { S3Client, PutObjectCommand } = require('@aws-sdk/client-s3');

const s3 = new S3Client({
  credentials: {
    accessKeyId: S3_API_KEY,
    secretAccessKey: S3_API_SECRET,
  },
  region: S3_REGION,
  signatureVersion: 'v4',
});

const uploadToFirstS3 = (stream) => (new Promise((resolve, reject) => {
  const uploadParams = {
    Bucket: S3_BUCKET_NAME,
    Key:'some-key',
    Body: stream,
  };
  s3.send(new PutObjectCommand(uploadParams), (err) => {
    if (err) reject(err);
    resolve(true);
  });
}));

然后我尝试了S3.putObject(PutObjectCommandInput):

const { S3 } = require('@aws-sdk/client-s3');

const s3 = new S3({
  credentials: {
    accessKeyId: S3_API_KEY,
    secretAccessKey: S3_API_SECRET,
  },
  region: S3_REGION,
  signatureVersion: 'v4',
});

const uploadToFirstS3 = (stream) => (new Promise((resolve, reject) => {
  const uploadParams = {
    Bucket: S3_BUCKET_NAME,
    Key:'some-key',
    Body: stream,
  };
  s3.putObject(uploadParams, (err) => {
    if (err) reject(err);
    resolve(true);
  });
}));

最后两个示例都给我一个 501 - Not Implemented 错误，标题为

Transfer-Encoding

。我检查了

req.headers

，里面没有

Transfer-Encoding

，所以我猜sdk添加了对s3的请求？

由于第一个示例（基于 aws-sdk）工作正常，我确信该错误不是由于请求中的空正文所致，如 这个 SO 线程中所建议的。

不过，我认为触发上传时流可能还不可读，因此我用

uploadToFirstS3

事件触发的回调包装了对

uploadToSecondS3

和

req.on('readable', callback)

的调用，但没有任何改变。

我想随时处理内存中的文件而不将其存储在磁盘上。有没有办法使用 @aws-sdk/client-s3 包来实现它？

Answer 1

在 v3 中，您可以使用

Upload

中的

@aws-sdk/lib-storage

类来进行分段上传。不幸的是，似乎在

@aws-sdk/client-s3

的文档网站中可能没有提及这一点。

这里的升级指南中提到了：https://github.com/aws/aws-sdk-js-v3/blob/main/UPGRADING.md#s3-multipart-upload

这是 https://github.com/aws/aws-sdk-js-v3/tree/main/lib/lib-storage 中提供的示例的更正版本：

  import { Upload } from "@aws-sdk/lib-storage";
  import { S3Client } from "@aws-sdk/client-s3";

  const target = { Bucket, Key, Body };
  try {
    const parallelUploads3 = new Upload({
      client: new S3Client({}),
      tags: [...], // optional tags
      queueSize: 4, // optional concurrency configuration
      leavePartsOnError: false, // optional manually handle dropped parts
      params: target,
    });

    parallelUploads3.on("httpUploadProgress", (progress) => {
      console.log(progress);
    });

    await parallelUploads3.done();
  } catch (e) {
    console.log(e);
  }

Answer 2

我确实遇到了与您相同的错误。 他们似乎有一个尚未准确记录的“已知问题”：

该错误确实是由于流长度未知引起的。我们需要改进错误消息和文档

为了解决这个问题，你只需要为

Content-length

 指定 

PutObjectCommand

 属性

这是更新的片段：

const { S3 } = require('@aws-sdk/client-s3');

const s3 = new S3({
  credentials: {
    accessKeyId: S3_API_KEY,
    secretAccessKey: S3_API_SECRET,
  },
  region: S3_REGION,
  signatureVersion: 'v4',
});

const uploadToFirstS3 = (passThroughStream) => (new Promise((resolve, reject) => {
  const uploadParams = {
    Bucket: S3_BUCKET_NAME,
    Key:'some-key',
    Body: passThroughStream,
    ContentLength: passThroughStream.readableLength, // include this new field!!
  };
  s3.putObject(uploadParams, (err) => {
    if (err) reject(err);
    resolve(true);
  });
}));
      

希望有帮助！