我正在尝试通过 BCP 实用程序将数据从 azure databricks 集群加载到 azure 托管 sql server 实例。在这里,我使用 Apache Spark + Python 进行数据处理,并将最终的数据帧编写为文本文件,并通过 bcp 实用程序将其加载到 azure sql server DB。问题是,即使我指定参数“-a 32678”将网络数据包大小设置为 32kb ,但实际上我仍然只能达到 16 kb 。
我想知道网络数据包大小是否有集群级别限制。我正在使用 standard_DS5_v2 databricks 集群
加密连接的最大网络数据包大小为 16,383 字节。