CEPH S3列表Blob异常

Question

我创建了一个由CEPH支持并通过Java S3客户端并通过S3对象网关支持的S3存储桶，以分页方式列出目录，并且在批量列出1100个Blob之后，该列表随机失败，有时在列出2000个Blob之后，有时失败。分批并且无法弄清楚如何调试此问题，这是异常，如果您注意到异常中有一个requestId，我认为可以过滤日志，但是在哪里可以找到日志问题，我已经检查了s3网关pod日志，但是在那边找不到任何此类日志，请让我知道我应该在哪里寻找相同的日志

com.amazonaws.services.s3.model.AmazonS3Exception: null (Service: Amazon S3; Status Code: 500; Error Code: UnknownError; Request ID: tx00000000000000000e7df-005e626049-1146-rook-ceph-store; S3 Extended Request ID: 1146-rook-ceph-store-rook-ceph-store), S3 Extended Request ID: 1146-rook-ceph-store-rook-ceph-store
at com.amazonaws.http.AmazonHttpClient$RequestExecutor.handleErrorResponse(AmazonHttpClient.java:1799)

这是我的代码，用于遍历blob，这是非分页的，是分页的版本，列出了数百个blob后，两个版本都抛出相同的异常

  ObjectListing objects = conn.listObjects(bucket.getName());
        do {
            for (S3ObjectSummary objectSummary : objects.getObjectSummaries()) {
                System.out.println(objectSummary.getKey() + "\t" +
                        objectSummary.getSize() + "\t" +
                        StringUtils.fromDate(objectSummary.getLastModified()));
            }
            objects = conn.listNextBatchOfObjects(objects);
        } while (objects.isTruncated());

因此，有关如何调试它的任何指示都将有所帮助。。谢谢

Answer 1

我认为ListObjectV2可以为您提供帮助。https://docs.aws.amazon.com/AmazonS3/latest/API/API_ListObjectsV2.html