我正在构建一个数据流管道,它将调用控制流管道。
我想要实现的解决方案是对两个主表实施模糊逻辑以找到相关匹配。 如下面的屏幕截图所示,我正在构建数据流以连接到同一数据库中的下划线表,但连接是相同的。我想参数化表名称,因此我可以使用相同的通用连接,而不是为每个表创建新的连接。
我的问题是:
我尝试在控制流上创建参数,它似乎正在工作,但是我无法浏览表以从表 1(源 1)表 2(源 2)中选择连接列
此场景需要使用数据集参数。
转到您的数据集并创建一个字符串类型参数,如下所示。
在数据集中,单击编辑并使用表名称参数,如下所示
@dataset().table_name
。
确保上述数据集中的Schema为空。现在,给出数据流中两个源的数据集。
对于 join,传入的模式不应为空。这意味着您应该在源中导入架构。
为此,请转到 Dataflow debug -> parameters -> 在参数中提供表名称。
现在,转到数据流源并导入映射,如下所示。
同样,对第二个源也执行相同的操作。
在连接中给出如下所示的列,并根据您的要求设置模糊逻辑。
您可以在连接转换的预览中看到结果。提供您的接收器数据集。所有这些过程都是为了连接转换的调试。
要从管道运行数据流,您需要为管道中数据流活动中的参数提供表名称,如下所示。
运行管道,数据流将会像我一样成功。