我目前正在利用 AWS Glue ETL 作业将数据从 S3 数据源传输到 OpenSearch。流程进展顺利;然而,我在将数据填充到多个 OpenSearch 索引中面临着挑战。具体来说,我需要索引名称与源 JSON 文件中的字段值之一相对应。有人可以帮我解决这个问题吗?谢谢!
为了解决您的挑战,您可以根据索引名称字段值对数据进行分区,并利用批量插入来获得更好的性能。另外,在写入过程中不要忘记开启压缩,以提高写入效率。