如何在Databricks和DLT管道上正确设置Spark?

问题描述 投票:0回答:1

我在 Azure 门户的 Databricks 中有一个 DLT 管道。我想增加流消息的最大大小,默认为 10 MB。

有人可以告诉我如何正确配置此配置参数吗?我需要将流消息的最大大小加倍。

我注意到这个参数是由Spark变量“spark.sql.autoBroadcastJoinThreshold”控制的。我尝试将此配置添加到我的笔记本顶部以及通过 Json 文件控制的管道作业集群中。

apache-spark spark-streaming azure-databricks delta-live-tables
1个回答
0
投票

您可以尝试在创建 dlt 管道时直接设置此配置,您可以在高级选项中微调集群配置。

enter image description here

© www.soinside.com 2019 - 2024. All rights reserved.