Apache Parquet 或 ORC 格式数据有一个选项可以使用粘合目录表配置模式，这样可以更轻松地将来自 Dynamodb 表的数据映射到它们各自的列。但是，如果我想将我的数据以 csv 格式转储到 S3 存储桶中，那么我无法将我的数据映射到爬虫使用 s3 存储桶中的对象创建的粘合目录表中的列名。 那么如何配置架构，以便我可以将我的数据映射到 S3 存储桶中的 csv 格式文件的各自列。
我试着用列名映射我的数据，这样爬虫就可以用列名创建一个粘合目录表。但是有效载荷数据并没有按特定顺序出现，这导致模式不匹配并且列的值正在互换。 我希望运动数据流中的数据以特定顺序从 dynamodb 表中摄取，但情况并非如此，这会导致模式不匹配和某些列的值被交换。