如何处理和归档在IICS中附加时间戳的S3文件

Question

我的来源是S3，文件附加有时间戳，文件格式是csv。我想从文件中读取数据并将其存档。

例如：我的 s3 路径 s3-abc-asia1/datalake/landing/sample_file_12042024120322.csv。明天新文件将到达并带有新时间戳

如何在iics中处理

Answer 1

您可以这样做，但必须遵循以下步骤。

1. 设置您的安全代理，以便它可以从 S3 读取/写入。
2. 按照以下链接设置安全代理以运行命令任务 - 批处理或 shell 脚本。
3. 创建一个CMD任务来调用脚本从S3下载文件。然后使用该文件创建一个文件列表。请注意，如果您没有找到任何文件，您可以处理空文件。

ls -1 sample_file*.csv> sample_file_list.lst

4. 使用法线映射通过文件列表读取数据。请注意使用

   indirect file read

   方法。
5. 使用另一个命令任务在 S3 中进行压缩和存档。

cat sample_file_list.lst | while read line ; do zip $line.zip $line ; done

此链接中提到了很多步骤https://docs.informatica.com/integration-cloud/data-integration/current-version/taskflows/taskflows/setting-taskflow-step-properties/command-task-step .html