AWS Glue是一种完全托管的ETL（提取，转换和加载）服务，可以对数据进行分类，清理，丰富数据，并在各种数据存储之间移动数据。 AWS Glue包含一个称为AWS Glue Data Catalog的中央数据存储库，一个自动生成Python代码的ETL引擎，以及一个处理依赖项解析，作业监控和重试的调度程序。 AWS Glue无服务器，因此无需管理基础架构。
我正在以这种方式使用AWS Glue DynamicFrame从S3读取镶木地板文件：sources = glue_context \ .create_dynamic_frame \ .from_options（connection_type =“s3”，connection_options = {'...
我有一个MySQL源代码，我正在创建一个具有谓词下推条件的Glue Dynamic Frame，如下所示datasource = glueContext.create_dynamic_frame_from_catalog（database = ...
我想知道是否为具有书签功能的特定作业启用了如果我使用触发器运行替换运行作业，它如何工作逻辑。示例我使用“运行作业”按钮手动运行我的作业并...
我正在尝试使用Glue从dynamodb提取数据集到s3。在此过程中，我想选择少量列，然后为具有缺失值的任何和所有行/列设置默认值。 ...
从EMR迁移到AWS Glue后，Spark SQL中找不到表
我在EMR上有Spark作业，EMR配置为使用Glue目录来获取Hive和Spark元数据。我创建了Hive外部表，它们出现在Glue目录中，我的Spark作业可以......
在使用AWS Glue Catalog生成的表上查询AWS Athena时，“不支持类型LIST”
我编写了一个ETL作业，将一堆JSON文件转换为存储在S3上的时间分区镶木地板文件（对象）。而不是在AWS Athena上手动创建表并使用Athena数据目录，...
我正在使用AWS Glue读取包含JSON的数据文件（在S3上）。这是一个包含在数组中的数据的JSON。我尝试过使用relationalize（）函数，但它不适用于数组。它确实有效......
所以我可以登录AWS控制台并在左侧面板上选择 - > Glue - > Settings - >定义我的策略，例如{Version：.... Statement：[...]}如何在terraform中实现这一点？现有的地形资源......
AWS Glue是否提供将数据从S3存储桶移动到RDS数据库的能力？我正在尝试设置无服务器应用程序，以获取上传到S3的动态数据并将其迁移到RDS。胶水提供爬行者......
我在AWS S3中存储了一大堆以JSON格式存储的数据。它看起来像这样：s3：//my-bucket/store-1/20190101/sales.json s3：//my-bucket/store-1/20190102/sales.json s3：// my-bucket / store-1 / ...
我很擅长使用AWS Glue和Spark。我正在尝试运行ETL作业，因此我的数据当前被解析为三个单独的列（年，月和日），我需要将这些列合并到一个...
为了使用boto3运行作业，文档说明只需要JobName。但是，我的代码：def start_job_run（self，name）：print（“通过客户端运行的作业的名称是：{...
如何在加载到AWS Athena时使csv文件的第一行成为列名？
我正在使用Glue将csv从S3存储桶移植到AWS的Athena，并且列的标题只是默认的'col0'，'col1'等，而列的真正标题是在第一个...
我目前正在尝试使用AWS Glue导入存储在json中的数据。 jsons包含一个属性'tags'，定义为一个字符串数组。我最初已经导入了没有标签的表格......
我正在使用AWS Glue + PySpark连接到AWS中的Oracle。如何找出正在使用的PySpark版本？
我试图找出我的AWS Glue工作指标的含义，以及可能的失败原因从第二个图表我注意到驱动程序内存（蓝色）保持相对稳定而某些执行程序...
我有一个S3存储桶，日常文件被丢弃。 AWS抓取工具从此位置抓取数据。在我的胶水作业运行的第一天，它会获取表格中的所有数据......
如何通过Glue在AWS Athena中查询嵌套的XML文件
我希望嵌套的XML文件使用AWS胶水从AWS Athena进行查询。 99988881111 25.0 ＆...
用于aws Glue / Redshift的预过滤解决方案（在加载到S3之前）
我正在研究aws从Redshift表（或视图）到Redshift表的Glue预定转换脚本。我的一些表是巨大的，我不想将整个表加载到S3文件或...
我想避免AWS dev端点。有没有办法在不使用AWS dev端点的情况下测试和调试我的PySpark代码，并在本地笔记本/ IDE中测试我的代码？