错误：将pyspark数据帧写入Habse时出错

Question

我正在尝试将pyspark数据帧写入Hbase。面对错误。

我的集群上的Spark和Hbase版本是：

火花版本：2.4.0Hbase版本：1.4.8

火花提交

 spark-submit --jars /tmp/hbase-spark-1.0.0.jar   --packages com.hortonworks:shc-core:1.1.1-2.1-s_2.11 --repositories http://repo.hortonworks.com/content/groups/public/ --files /etc/hbase/conf/hbase-site.xml to_hbase.py

错误：

任何帮助将不胜感激！

Answer 1

这是一个已知的问题-在spark2.4中使用spark-habse-connector（shc）。@dhananjay_patka修复了问题。

检查：SHC With spark 2.4 和his fix