我在 Azure 门户的 Databricks 中有一个 DLT 管道。我想增加流消息的最大大小,默认为 10 MB。
有人可以告诉我如何正确配置此配置参数吗?我需要将流消息的最大大小加倍。
我注意到这个参数是由Spark变量“spark.sql.autoBroadcastJoinThreshold”控制的。我尝试将此配置添加到我的笔记本顶部以及通过 Json 文件控制的管道作业集群中。
您可以尝试在创建 dlt 管道时直接设置此配置,您可以在高级选项中微调集群配置。