我是按照下一个例子来连接Amazon Kinesis数据流,并将加入的结果以parquet格式输出到Amazon S3。https:/docs.aws.amazon.comgluelatestdgglue-etl-scala-example.html。
当我配置连接到AWS,并试图运行它,它抛出下一个错误,无法找到凭证,我已经分配在 "C:\Users\user.aws\credentials "我也添加了环境变量 :
AWS_ACCESS_KEY_ID=XXX
AWS_SECRET_ACCESS_KEY=XxXX
但还是失败了。
ERROR AWSInstanceProfileCredentialsProviderWithRetries: Got an exception while fetching credentials org.apache.s
park.sql.kinesis.shaded.amazonaws.SdkClientException: Unable to load credentials from service endpoint
错误信息是 与自己的资历无关 你在 "C:\Users\user.aws\credentials"
但在实例配置文件中缺少凭证。
该类 AWSInstanceProfileCredentialsProviderWithRetries
延伸 InstanceProfileCredentialsProvider
其中 是:
全权证书提供者实现从 亚马逊EC2实例元数据服务。
你正在执行的代码应该是在EC2实例上运行的,因此它希望从以下表格中获取证书 实例角色. 更重要的是,实例角色应该拥有您的代码所需的所有必要权限,例如,使用 Kinesis。
从你的问题中提供的链接来看,并不清楚实例代码到底应该在哪里执行。是自定义的ec2实例,还是一些与glue相关的托管实例。