对于从 databricks 集群到 Azure SQL DB 的 BCP 加载,无法实现大于 16kb 的网络数据包大小

问题描述 投票:0回答:1

我正在尝试通过 BCP 实用程序将数据从 azure databricks 集群加载到 azure 托管 sql server 实例。在这里,我使用 Apache Spark + Python 进行数据处理,并将最终的数据帧编写为文本文件,并通过 bcp 实用程序将其加载到 azure sql server DB。问题是,即使我指定参数“-a 32678”将网络数据包大小设置为 32kb ,但实际上我仍然只能达到 16 kb 。

我想知道网络数据包大小是否有集群级别限制。我正在使用 standard_DS5_v2 databricks 集群

pyspark azure-sql-database databricks azure-databricks bcp
1个回答
0
投票

加密连接的最大网络数据包大小为 16,383 字节。

配置网络包大小

© www.soinside.com 2019 - 2024. All rights reserved.