MYSQL变更数据捕获(CDC) - Azure服务(Azure数据工厂)

问题描述 投票:-1回答:3

我想对MYSQL数据库的数据表执行ETL操作,并将数据存储在azure数据仓库中。我没有更新日期列来标识该期间的修改记录。我如何知道修改了哪条记录。 MYSQL数据库是否支持CDC?

可以使用azure服务(Azure数据工厂)读取MYSQL binlogs或二进制日志吗?

mysql etl data-warehouse azure-data-factory
3个回答
0
投票

如果您可以将单个语句查询放在一起,它将使用您可以使用的任何函数和联接返回您想要的内容,那么您可以将它放入ADF的sqlReaderQuery部分。

否则你可能会使用存储过程活动(抱歉我不熟悉mySQL,因为我是ADF)


0
投票

你有任何增加整数的列吗?如果是这样,您仍然可以使用查找活动+复制活动+存储过程活动来获得增量加载。更多细节如下:https://docs.microsoft.com/en-us/azure/data-factory/tutorial-incremental-copy-powershell

ADF还没有内置的CDC支持。您可以使用代码通过ADF中的自定义活动执行此操作。


0
投票

在MySQL中,您可以选择添加timestamp列,默认情况下会更新rowlevel上的更新。 CDC不可用,但是当您可以看到de差异时,您可以比较MySQL上的MAX(更新)与(> =)您自己的MAX(ETLDate)以获取所有修改的记录。

© www.soinside.com 2019 - 2024. All rights reserved.