我从df创建了两个临时视图:一个来自mongo,另一个来自hive。然后,我将这两个表放在单个键上,最后插入到蜂巢中。
结果确实成功地插入到配置单元中,但是日志中有一些例外:
19/08/21 16:30:35错误client.TransportResponseHandler:仍然有1当/192.168.2.13:46508的连接为已关闭
19/08/21 16:30:35错误client.TransportResponseHandler:仍然有1当/192.168.2.13:46498的连接是已关闭19/08/21 16:30:35信息存储.BlockManagerInfo:已删除内存中s2:44369上的broadcast_8_piece0(大小:650.0 KB,可用:5.2GB)
19/08/21 16:30:35警告存储。BlockManagerMaster:无法删除使用removeFromMaster = true广播8-来自的连接/192.168.2.13:46508关闭的java.io.IOException:连接来自/192.168.2.13:46508关闭
我从df创建了两个临时视图:一个来自mongo,另一个来自hive。然后,我将这两个表放在单个键上,最后插入到蜂巢中。结果确实成功插入到配置单元中,但是...
在我的情况下,我通过设置为等于50000秒(从我的头起随机大号)配置的spark.network.timeout解决此问题。