Apache Spark 2.4：为什么会有“不广播”？
问题描述 投票：-1回答：1
我已使用]配置了spark-submit，>
“-conf”，“ spark.sql.autoBroadcastJoinThreshold = 536870912”，512MB
但是DAG仍未广播连接的较小端。
该代码是一个简单的联接。所以我想知道哪里出了问题。
输入是镶木地板文件，存储在S3上。
如果需要更多信息以进行进一步分析，请告诉我。
我已使用“ --conf”，“ spark.sql.autoBroadcastJoinThreshold = 536870912”，512MB配置了spark-submit，但是DAG仍未广播该联接的较小端。 ...
1个回答
0
投票
投票
我的猜测是配置spark.sql.autoBroadcastJoinThreshold
最新问题
- 平衡二叉搜索树和二叉搜索树有什么区别？
- 如何在TWebScrollBox中设置滚动条位置？
- Apple Metal 中如何描述紧密堆积的顶点数据？
- 循环迭代在第二次迭代时失败
- rusty_v8 TryCatch 未捕获堆限制
- 检测RTP流中使用的编解码器（对于动态PT）
- 变量“未定义”错误，即使已定义
- rebase 后进行 Git 推送
- Postgres 自增主键
- Delphi 中 DataModule 的访问冲突
- 正则表达式在 TMS WEB Core 中如何工作？
- 检索 ValueError：int() 的文字无效
- React/Mobx 无法覆盖 Props 设置的默认值
- 条件语句 `if ( ( i != '7' ) && ( j != '8' ) && ( k != '9' ) )` 会产生不稳定的结果
- Flutter无法滚动到列表View底部
- 语法错误：无法在模块 { AXIOS } 之外使用 import 语句
- 适用于Windows Vista 32位系统的Java JDK
- 即使上下文隔离关闭，如何使 contextBridge 工作
- 无法在 php 中包含文件或目录（警告：require_once(../layout/)：无法打开流）
- 版本控制存储桶的 Amazon S3 一致性
© www.soinside.com 2019 - 2024. All rights reserved.