我有这段代码可以从表中获取数据并使用特定字段进行拆分
import sys
from awsglue.transforms import *
from awsglue.utils import getResolvedOptions
from pyspark.context import SparkContext
from awsglue.context import GlueContext
sc = SparkContext()
glueContext = GlueContext(sc)
spark = glueContext.spark_session
df = glueContext.create_dynamic_frame.from_catalog(database = "mydb", table_name = "mytable")
collection=df.split_rows({"split_field": {"=": "value"}},"dfSplit","dfOthers")
print("Collection keys: "+str(list(collection.keys())[0]))
print("Colleciton splitted values: "+str(collection.values(collection.keys())))
print("Colleciton splitted values: "+str(collection.values('dfSplit')))
我尝试了一组选项来在集合中一个数据框下打印值。尽管看到了我设置的键,但是我无法读取这些值。我尝试以不同方式运行最后两行。但是两者都返回:
Keys take 1 positional argument but 2 were given
[我认为此错误与创建对象的实例有关,但是我不明白为什么当值是keys
的函数且keys
函数在打印中起作用并且不起作用时为什么要创建该错误不会返回错误。
我正在使用此doc,但仅表示值函数->返回此集合中DynamicFrame值的列表。