连接Apache Spark和Cassandra以进行集群查询
如何使用Spark Cassandra Connector创建表?
我最近开始使用Spark Cassandra Connector,我手动创建了我的表,并且能够保存数据。以下是文档的简化片段:CREATE TABLE test.words(word text ...
如何在spark 2.0中使用Cassandra Context
在之前的Spark版本1.6.1中,我使用spark Context创建Cassandra Context,导入org.apache.spark。{Logging,SparkContext,SparkConf} // config val conf:org.apache.spark ....
如何从Cassandra表中加载行作为Spark中的Dataframe?
我可以将整个Cassandra表加载为数据帧,如下所示:val tableDf = sparkSession.read .format(“org.apache.spark.sql.cassandra”)。option(Map(“table” - > table,“keyspace” - > .. 。
我有Cassandra的本地安装。我必须使用Google Colab在Spark中工作,并且可以从我的本地数据库运行查询。但我知道有可能更多地连接spark和cassandra ......
将数据帧写入面向BusyPoolException的cassandra
我正在尝试使用这些代码行将数据帧写入cassandra,能够在某一天写入表但突然发生错误来自alertdf .write.format(“org.apache.spark.sql.cassandra”)...
在Spark 2.3中运行多个cassandra查询并在一个RDD中获取结果
我有一个字符串序列,我想在我的Cassandra查询的where子句中使用。因此,序列中的每个字符串都会有一个查询。 idSeq.foreach(id => {val rdd1 = sc ....
如何在Spark中将Cassandra表数据的顺序数值处理转换为并行?
我们正在使用spark cassandra连接器对来自Cassandra表的数据进行一些数学建模,并且执行当前是顺序的以获得输出。你如何并行化这个...
如何修复无法在{server ip}打开与Cassandra的本机连接:9042
我正在尝试使用spark-cassandra-connector连接spark和Cassandra。连接已建立,但当我尝试在JavaRDD上执行操作时,我正面临着。 java.io.IOException:...
如何使用连接属性(url属性)在ssl上连接Cassandra
我有信任库和密钥库文件以及与cassandra帐户相关的所有信息。我用来连接cassandra的应用程序存在限制,因为它没有为我提供...
无法使用akka获取CassandraTableScanRDD
我正在尝试使用Akka进行API Rest。其中一个入口点将从我的Cassandra数据库返回数据。所以我可以这样得到我的CassandraTableScanRDD:val spark = SparkSession .builder()......
我通过spark-sql使用spark-Cassandra驱动程序来查询我的Cassandra集群。每个Cassandra节点都有一个spark worker(位于同一位置)。问题:在向...提交任务之前有很长的延迟
如何将包含struct的数据帧写入cassandratable
我正在尝试将数据帧数据写入cassandra表。如何将数据框架中的结构映射到cassandra表中的列。数据帧根的架构| - _1:struct(nullable = true)| | --...
[spark-cassandra-connector]如何在spark 2.3.1中将scala隐式支持的代码转换为java
我正在尝试将spark-cassandra使用的项目从scala_2.11重构为java_1.8。我正在使用spark-sql_2.11-2..3.1和spark-cassandra-connector_2.11-2.3.1。现在我正在尝试将代码重构为java ...
无法解析导入com.datastax.spark.connector.CassandraJavaUtil
我正在尝试使用spark-sql java API来连接cassandra。下面是我正在使用的jar com.datastax.cassandra 火花卡桑德拉-...
从pyspark DataFrame创建Cassandra表
我正在使用Apache Spark 2.2.1和Cassandra 3.11以及来自python / pyspark的Datastax spark-cassandra-connector。我想从数据集结构创建Cassandra表。所以,我发现了一个功能......
我正在设置一个应用程序,我正在使用spark会话从Cassandra读取数据。如果我从直流传递一个Cassandra节点,我能够从Cassandra读取数据。但我怎么能......
无法在spark-cassandra-connector中使用java类进行映射
我正在尝试使用java类将cassandra表映射到spark rdd,为此我遇到了cassandra无法创建查询来获取数据的问题。根据这个链接https:// ...
使用Spark Cassandra Connector的NoHostAvailableException(没有尝试过主机)
我遇到了Cassandra的DataStax Spark Connector问题。我的应用程序包含一个Spark操作,它在Cassandra数据库上执行许多单记录查询;一些......
我正在尝试使用Spark-cassandra连接器连接到我的spark shell中的远程cassandra集群。但它抛出了一些不寻常的错误。我做github页面上提到的通常的事情......
如何在scala中使用spark cassandra连接器API
我之前的帖子:修复准备好的stmt警告。我无法解决它,只有一些建议,我尝试使用spark cassandra连接器来解决我的问题。但我对它完全感到困惑......