使用 Python boto3 从 S3 读取 JSON 文件

Question

我一直关注 S3 存储桶中的 JSON

test

:

{
  'Details': "Something" 
}

我使用以下代码来读取此 JSON 并打印密钥

Details

:

s3 = boto3.resource('s3',
                    aws_access_key_id=<access_key>,
                    aws_secret_access_key=<secret_key>
                    )
content_object = s3.Object('test', 'sample_json.txt')
file_content = content_object.get()['Body'].read().decode('utf-8')
json_content = json.loads(repr(file_content))
print(json_content['Details'])

我收到错误

'string indices must be integers'

。 我不想从 S3 下载文件然后读取它。

Answer 1

正如上面评论中提到的，必须删除

repr

，并且

json

文件必须使用 双引号 作为属性。在 aws/s3 上使用此文件：

{
  "Details" : "Something"
}

以及以下Python代码，它可以工作：

import boto3
import json

s3 = boto3.resource('s3')

content_object = s3.Object('test', 'sample_json.txt')
file_content = content_object.get()['Body'].read().decode('utf-8')
json_content = json.loads(file_content)
print(json_content['Details'])
# >> Something

Answer 2

以下内容对我有用。

# read_s3.py

from boto3 import client

BUCKET = 'MY_S3_BUCKET_NAME'
FILE_TO_READ = 'FOLDER_NAME/my_file.json'
client = client('s3',
                 aws_access_key_id='MY_AWS_KEY_ID',
                 aws_secret_access_key='MY_AWS_SECRET_ACCESS_KEY'
                )
result = client.get_object(Bucket=BUCKET, Key=FILE_TO_READ) 
text = result["Body"].read().decode()
print(text['Details']) # Use your desired JSON Key for your value 

进一步改进

我们将上面的代码片段称为

read_s3.py

。

直接对 AWS Id 和密钥进行硬编码并不是一个好主意。对于最佳实践，您可以考虑以下任一方法：

(1) 从存储在本地存储中的 json 文件 (

aws_cred.json

) 读取您的 AWS 凭证：

from json import load
from boto3 import client
...
credentials = load(open('local_fold/aws_cred.json'))
client = client('s3',
                 aws_access_key_id=credentials['MY_AWS_KEY_ID'],
                 aws_secret_access_key=credentials['MY_AWS_SECRET_ACCESS_KEY']
                )

(2) 从您的环境变量中读取（我的首选部署选项）：

    from os import environ
    client = boto3.client('s3',              
                         aws_access_key_id=environ['MY_AWS_KEY_ID'],
                           aws_secret_access_key=environ['MY_AWS_SECRET_ACCESS_KEY']
                         )

让我们准备一个名为

read_s3_using_env.sh

的 shell 脚本来设置环境变量，并在其中添加我们的 python 脚本 (

read_s3.py

)，如下所示：

# read_s3_using_env.sh
export MY_AWS_KEY_ID='YOUR_AWS_ACCESS_KEY_ID'
export MY_AWS_SECRET_ACCESS_KEY='YOUR_AWS_SECRET_ACCESS_KEY'
# execute the python file containing your code as stated above that reads from s3
python read_s3.py # will execute the python script to read from s3

现在在终端中执行 shell 脚本，如下所示：

sh read_s3_using_env.sh

Answer 3

想补充一点，

botocore.response.streamingbody

与

json.load

配合得很好：

import json
import boto3

s3 = boto3.resource('s3')

obj = s3.Object(bucket, key)
data = json.load(obj.get()['Body']) 

Answer 4

您可以在 AWS Lambda 中使用以下代码从 S3 存储桶读取 JSON 文件并使用 python 对其进行处理。

import json
import boto3
import sys
import logging

# logging
logger = logging.getLogger()
logger.setLevel(logging.INFO)

VERSION = 1.0

s3 = boto3.client('s3')

def lambda_handler(event, context):
    bucket = 'my_project_bucket'
    key = 'sample_payload.json'
    
    response = s3.get_object(Bucket = bucket, Key = key)
    content = response['Body']
    jsonObject = json.loads(content.read())
    print(jsonObject)

Answer 5

我被困了一会儿，因为解码对我不起作用（s3 对象被 gzip 压缩）。

发现这个讨论对我有帮助： Python gzip：有没有办法从字符串中解压缩？

import boto3
import zlib

key = event["Records"][0]["s3"]["object"]["key"]
bucket_name = event["Records"][0]["s3"]["bucket"]["name"]

s3_object = S3_RESOURCE.Object(bucket_name, key).get()['Body'].read()

jsonData = zlib.decompress(s3_object, 16+zlib.MAX_WBITS)

如果打印 jsonData，您将看到所需的 JSON 文件！如果您在 AWS 本身中运行测试，请务必检查 CloudWatch 日志，因为在 lambda 中，如果它太长，它不会输出完整的 JSON 文件。

Answer 6

使用 cloudpathlib 可以轻松做到这一点，它支持 S3、Google Cloud Storage 和 Azure Blob Storage。这是一个示例：

import json
from cloudpathlib import CloudPath


# first, we'll write some json data so then we can later read it
CloudPath("s3://mybucket/asdf.json").write_text('{"field": "value"}')
#> 18


# read data from S3
data = json.loads(
    CloudPath("s3://mybucket/asdf.json").read_text()
)

# look at the data
data
#> {'field': 'value'}

# access it now that it is loaded in Python
data["field"] == "value"
#> True

这在设置特定选项或不同的身份验证机制或保留持久缓存方面带来了一些额外的好处，这样您就不必总是从S3重新下载。

Answer 7

如果你的 json 文件如下所示：

{
    "test": "test123"
}

您可以像这样访问它：

dict