无法将Spark Dataframe写入cassandra表中

Question

我正在用Cassandra连接HDP3.0上的spark，以将数据帧写入cassandra表中，但收到以下错误：enter image description here

enter image description here

我要写入cassandra表的代码如下：enter image description here

非常感谢！

Answer 1

HDP 3.0基于使用commons-configuration2库而不是Spark Cassandra Connector使用的commons-configuration的Hadoop 3.1.1。您可以使用以下命令启动spark-shell或spark-submit：

Answer 2

例外如下：追溯（最近一次通话）：在第24行的文件“ /etc/yum.repos.d/CassandraSpark.py”中.options（table =“ users”，keyspace =“ movielens”）\保存文件“ /usr/hdp/current/spark2-client/python/lib/pyspark.zip/pyspark/sql/readwriter.py”，第703行call