如何在SSIS中检查数据质量?

问题描述 投票:0回答:1

[在传输过程中转换数据时,我将所有被拒绝(即失败)的转换移至拒绝表。但是,我仅收到FIRST错误的条目:

示例源数据:

Name | Salary  | Zipcode
------------------------
Paul | 12000   | 90210
Ringo| 5000    | 12345
Peter| hundred | London
Tina | 12345   | London

对于第3行,我只会收到第二列错误的错误,没有列出第三列,因此我的拒绝表只有2个条目。

是否有一种方法可以列出每个错误?

[目前,我只是简单地拒绝表格,并运行一个脚本来执行我想要的操作,因此得到一个“适当的”日志文件,尽管我希望在SSIS中包含一些内容。

什么是最好的方法?

ssis data-quality
1个回答
0
投票

我将考虑在异步脚本转换中进行更明确的验证和转换。

您将有两个输出,一个用于“确定”,一个用于“错误”。

[每行都进入时,您可以在两个字段上都执行验证方法(例如,从数据的外观来看,您可能会执行Int32.TryParse(C#)之类的操作),对于遇到的每个无效字段,您都可以可以将该字段写到“错误”输出字段中(如果您希望这样看,也可以写整行以及一条消息,指出哪个字段有错误)。

如果行中的数据正常,则只需将行的单个转换版本写入“确定”输出。

© www.soinside.com 2019 - 2024. All rights reserved.