ADF:数据集行分隔符多个字符

问题描述 投票:0回答:1

我正在使用 azure 数据工厂来解析 .dat 文件。

每行都由字符串“TASK”分隔。

示例

尝试 123 ~ 946 任务 34T89YT56 任务 368905T67 任务 365890PT65678


当我进行数据预览时,每次出现字符“T”时都会显示单独的行。 有没有办法将行分隔符与字符串值一起使用?

在上面的示例中,我需要以字符串“TASK”开头的三个单独的行

azure-data-factory oracle-adf
1个回答
0
投票

对于复制活动,单个字符或“ " 用于分隔文件中的行。

enter image description here

图像参考:有关 ADF 中分隔文本属性的 MS 文档

只能使用单个字符作为行分隔符。这就是原因,即使给出

T
作为分隔符,它也会以
TASK
作为分隔符。您无法使用复制活动读取分隔符为
TASK
的文件。这可以使用映射数据流转换活动来实现。以下是步骤,

  • 使用源数据集进行源转换。将行分隔符指定为

    \n
    ,将列分隔符指定为
    ,
    。选择这些分隔符是因为这些分隔符不是数据的一部分。 enter image description here

  • 采用派生列变换,并将列的表达式指定为

    split(Column_1,'TASK')

enter image description here 这将从

column1
数据中生成值数组。

  • 采用 展平变换 并将
    unroll by
    的值作为
    column1
    数组给出。

enter image description here

展平变换的输出:

enter image description here

© www.soinside.com 2019 - 2024. All rights reserved.