Minio 桶的气流连接错误

Question

我正在尝试设置一个由文件上传到 Minio 存储桶触发的气流 DAG。但是，我一直坚持在气流中配置连接。提供这些信息后，我进行了测试并收到此错误消息：

'EndpointConnectionError' error occurred while testing connection: Could not connect to the endpoint URL: "https://sts.amazonaws.com/"

{
  "aws_access_key_id": "QQsHXqzUTkZlZWAmsML0",
  "aws_secret_access_key": "L8ee1O3Ma4Nr7zriTSTYiaJ6qxF3wyYVnFsNBoWH",
  "endpoint_url": "http://url",
  "region_name": "eu-central-1"
}

Answer 1

要与 Minio 建立连接，请确保连接详细信息中包含端口号，如 Minio 博客中所述：

{
  "aws_access_key_id": "",
  "aws_secret_access_key": "",
  "endpoint_url": "http://url:port",
  "region_name": ""
}

使用 UI 中的测试连接按钮时，它会调用 AWS Security Token Service API GetCallerIdentity。从您遇到的错误消息可以明显看出这一点。有关更多详细信息，请参阅Apache Airflow 文档。

如果您使用 Amazon Provider 与兼容的 AWS API 进行通信 服务（MinIO、LocalStack 等）测试连接失败不会 意味着您的连接凭据错误。许多兼容 服务仅提供有限数量的 AWS API 服务，并且大多数 其中没有实现 AWS STS GetCallerIdentity 方法。