是否有一种快速方法可以找出较大的 azure blob csv 文件的行分隔符？

Question

我正在使用 Azure 数据工厂。我正在尝试使用复制数据任务。我将行分隔符设置为 但是当我转到映射选项卡并导入模式时，我收到错误
“导入源架构失败。指定的行分隔符 '' 不正确。解析 100 MB 数据后无法检测到行。 ”

有没有一种快速方法可以使用 ADF 来找出行分隔符是什么？我曾经使用数据流来创建 azure blob csv 文件，并在数据流接收器活动中，我将行分隔符设置为

Answer 1

根据此文档，

支持

\r\n

作为行分隔符，它是使用复制活动读取数据时数据集中的默认值之一。

因此，您的情况下行分隔符没有任何问题。

“导入源架构失败。指定的行分隔符 '' 不正确。解析 100 MB 数据后无法检测到行。”

当任何一个行大小大于默认 rowSize 限制 100MB 时，就会出现此错误。

要解决此错误，您需要设置数据集中的 rowSize。转到 源数据集 -> 数据集 JSON (

{ }

) -> 在

typeproperties

中添加以下属性。

"MaxRowSize": 2000000

单击“确定”并调试复制活动。

根据您的数据大小增加此大小并检查它是否有效。

您可以通过@HimanshuSinha-msft进行类似的ask。

如果您只想将此 csv 文件复制到目标位置而不更改任何列或映射，则无需使用分隔文本数据集。 您可以对二进制数据集作为源和接收器执行相同的操作。这不需要任何映射，并将源 csv 文件按原样复制到目标。