AWS Glue 数据预览执行期间出现存储配额超出错误

Question

我需要帮助，以解决在尝试在 AWS Glue Visual ETL 中运行数据预览时发生的错误。该错误消息表明数据预览作业执行存在问题。

错误详情：

{
  "error": {
    "stack": "Error: Failed to execute 'setItem' on 'Storage': Setting the value of 'gs-datapreview-tspfV2TpH3UsL9TMXraaiXPAchYemtz1' exceeded the quota.\n at Object.setItem (https://a.b.cdn.console.awsstatic.com/a/v1/LKHF6KFR56O3XLCBNWJVPDBUVG7QB4QGVJRHKD7JFDXCGZJRNHBA/vendors.js:2:845813)\n  at p (https://a.b.cdn.console.awsstatic.com/a/v1/LKHF6KFR56O3XLCBNWJVPDBUVG7QB4QGVJRHKD7JFDXCGZJRNHBA/vendors.js:2:848532)\n  at ... (truncated)",
    "info": {
      "componentStack": "... (truncated)"
    }
  }
}

该错误表示“Storage”上的“setItem”操作存在问题，特别是超出了某个值的配额。此问题正在影响数据预览的成功执行。

涂胶作业类型：Spark ETL 语言：Python 3 Glue 版本：Glue 4.0 - 支持 Spark 3.3、Scala 2、Python 3

我需要知道是否有关于所发生问题的文档？

Answer 1

我已在 AWS Support 的帮助下解决了该问题。该错误是由于在 Visual ETL 中的数据预览作业期间超出存储配额限制造成的。推荐的解决方案是通过将行数设置从默认的 200 行减少到 50 行或更少来调整数据预览首选项。这种优化有助于有效处理大型数据集。

实施解决方案：

单击设置图标（齿轮符号）以访问预览首选项。 在“首选项”下，将“行数”字段从 200（默认）更新为 50。 此调整应该可以解决存储配额问题。