1个位置参数,但给了2个GlueContext拆分行DynamicFrameCollection

问题描述 投票:0回答:1

我有这段代码可以从表中获取数据并使用特定字段进行拆分

import sys
from awsglue.transforms import *
from awsglue.utils import getResolvedOptions
from pyspark.context import SparkContext
from awsglue.context import GlueContext

sc = SparkContext()
glueContext = GlueContext(sc)
spark = glueContext.spark_session

df = glueContext.create_dynamic_frame.from_catalog(database = "mydb", table_name = "mytable")

collection=df.split_rows({"split_field": {"=": "value"}},"dfSplit","dfOthers")
print("Collection keys: "+str(list(collection.keys())[0]))
print("Colleciton splitted values: "+str(collection.values(collection.keys())))
print("Colleciton splitted values: "+str(collection.values('dfSplit')))

我尝试了一组选项来在集合中一个数据框下打印值。尽管看到了我设置的键,但是我无法读取这些值。我尝试以不同方式运行最后两行。但是两者都返回:

Keys take 1 positional argument but 2 were given

[我认为此错误与创建对象的实例有关,但是我不明白为什么当值是keys的函数且keys函数在打印中起作用并且不起作用时为什么要创建该错误不会返回错误。

我正在使用此doc,但仅表示值函数->返回此集合中DynamicFrame值的列表。

amazon-web-services apache-spark aws-glue
1个回答
0
投票
© www.soinside.com 2019 - 2024. All rights reserved.