awscli：只将文件的一部分从s3复制到本地

Question

我想使用s3 cp将文件（.csv）从s3复制到本地计算机。该文件很大，我想知道是否有办法只复制它的一部分，比如文件的前10000行或5MB。

Answer 1

你可以使用远程获取：

aws s3api get-object --bucket my-bucket --key foo --range bytes=1-10 output.txt

见：get-object documentation

您可以指定字节数，但不能指定行数，因为这需要解释内容。

Answer 2

我一直在广泛使用AWS cli。

aws s3 cp s3://bucket/large_file.tar.gz | gunzip -cd | head -n 10000 > first_10000.csv