如何将数据从本地 Oracle 数据库流式传输到 ADLS Gen2？

Question

我有这样的要求，我需要将 XML BLOB 从本地 Oracle 数据库流式传输到 ADLS Gen2 BLOB 容器。我能够获得一个自托管 VM，安装集成运行时和 JRE，使用密钥配置 IR，并使用 Azure 数据工厂“复制”活动测试本地 Oracle 数据库和 ADLS Gen2 之间的连接。

我有 2 个问题 -

• Oracle 触发器（如 AFTER INSERT）可以启动外部事件吗？
• Azure 是否有任何服务可以侦听此表并打开活动流直到数据刷新？

有人可以帮助我如何实现这一目标吗？

源是一个有 5 列的 Oracle 表

SURROGATE_ID	NATURAL_KEY1	NATURAL_KEY2	XML_COL	LAST_UPDATE_TIMESTAMP
1	AAA	XYZ	xml BLOB	2024-04-08 12:03:34
2	AAB	XYX	xml BLOB	2024-04-08 12:03:39
3	AAC	XYZ	xml BLOB	2024-04-08 12:05:27

我需要将 XML_COL 作为单独的 XML 文件保存到 ADLS Gen 2 Blob 容器中，如下所示：

1_AAA_XYZ_20240408120334.xml
2_AAB_XYX_20240408120339.xml
3_AAC_XYZ_20240408120527.xml

谢谢 闪电网络

Answer 1

尝试以下操作：

1. 在 Oracle 表上创建 AFTER INSERT 触发器以启动外部事件（例如，调用脚本或通知服务）。
2. 实现 Azure Function 或 Azure Logic App 以定期查询 Oracle 表中的新记录。
3. 配置 Azure 函数或逻辑应用程序以在检测到新记录时触发 Azure 数据工厂管道。
4. 使用复制活动定义 Azure 数据工厂管道，以将 XML BLOB 从 Oracle 流式传输到 ADLS Gen2 Blob 容器。
5. 在复制活动中使用动态文件命名，根据 Oracle 表中的数据命名 ADLS Gen2 Blob 容器中的 XML 文件。