spark-cassandra-connector 相关问题

连接Apache Spark和Cassandra以进行集群查询

如何使用Spark Cassandra Connector创建表?

我最近开始使用Spark Cassandra Connector,我手动创建了我的表,并且能够保存数据。以下是文档的简化片段:CREATE TABLE test.words(word text ...

回答 1 投票 1

如何在spark 2.0中使用Cassandra Context

在之前的Spark版本1.6.1中,我使用spark Context创建Cassandra Context,导入org.apache.spark。{Logging,SparkContext,SparkConf} // config val conf:org.apache.spark ....

回答 1 投票 1

如何从Cassandra表中加载行作为Spark中的Dataframe?

我可以将整个Cassandra表加载为数据帧,如下所示:val tableDf = sparkSession.read .format(“org.apache.spark.sql.cassandra”)。option(Map(“table” - > table,“keyspace” - > .. 。

回答 2 投票 0

如何使用Cassandra键空间创建spark数据帧?

我有Cassandra的本地安装。我必须使用Google Colab在Spark中工作,并且可以从我的本地数据库运行查询。但我知道有可能更多地连接spark和cassandra ......

回答 1 投票 0

将数据帧写入面向BusyPoolException的cassandra

我正在尝试使用这些代码行将数据帧写入cassandra,能够在某一天写入表但突然发生错误来自alertdf .write.format(“org.apache.spark.sql.cassandra”)...

回答 1 投票 0

在Spark 2.3中运行多个cassandra查询并在一个RDD中获取结果

我有一个字符串序列,我想在我的Cassandra查询的where子句中使用。因此,序列中的每个字符串都会有一个查询。 idSeq.foreach(id => {val rdd1 = sc ....

回答 2 投票 -2

如何在Spark中将Cassandra表数据的顺序数值处理转换为并行?

我们正在使用spark cassandra连接器对来自Cassandra表的数据进行一些数学建模,并且执行当前是顺序的以获得输出。你如何并行化这个...

回答 1 投票 1

如何修复无法在{server ip}打开与Cassandra的本机连接:9042

我正在尝试使用spark-cassandra-connector连接spark和Cassandra。连接已建立,但当我尝试在JavaRDD上执行操作时,我正面临着。 java.io.IOException:...

回答 1 投票 0

如何使用连接属性(url属性)在ssl上连接Cassandra

我有信任库和密钥库文件以及与cassandra帐户相关的所有信息。我用来连接cassandra的应用程序存在限制,因为它没有为我提供...

回答 1 投票 1

无法使用akka获取CassandraTableScanRDD

我正在尝试使用Akka进行API Rest。其中一个入口点将从我的Cassandra数据库返回数据。所以我可以这样得到我的CassandraTableScanRDD:val spark = SparkSession .builder()......

回答 2 投票 2

在向执行人员提交工作之前会引发长时间的延迟

我通过spark-sql使用spark-Cassandra驱动程序来查询我的Cassandra集群。每个Cassandra节点都有一个spark worker(位于同一位置)。问题:在向...提交任务之前有很长的延迟

回答 1 投票 0

如何将包含struct的数据帧写入cassandratable

我正在尝试将数据帧数据写入cassandra表。如何将数据框架中的结构映射到cassandra表中的列。数据帧根的架构| - _1:struct(nullable = true)| | --...

回答 1 投票 0

[spark-cassandra-connector]如何在spark 2.3.1中将scala隐式支持的代码转换为java

我正在尝试将spark-cassandra使用的项目从scala_2.11重构为java_1.8。我正在使用spark-sql_2.11-2..3.1和spark-cassandra-connector_2.11-2.3.1。现在我正在尝试将代码重构为java ...

回答 1 投票 0

无法解析导入com.datastax.spark.connector.CassandraJavaUtil

我正在尝试使用spark-sql java API来连接cassandra。下面是我正在使用的jar com.datastax.cassandra 火花卡桑德拉-...

回答 1 投票 0

从pyspark DataFrame创建Cassandra表

我正在使用Apache Spark 2.2.1和Cassandra 3.11以及来自python / pyspark的Datastax spark-cassandra-connector。我想从数据集结构创建Cassandra表。所以,我发现了一个功能......

回答 3 投票 0

如何连接到不同直流的多个Cassandra

我正在设置一个应用程序,我正在使用spark会话从Cassandra读取数据。如果我从直流传递一个Cassandra节点,我能够从Cassandra读取数据。但我怎么能......

回答 1 投票 0

无法在spark-cassandra-connector中使用java类进行映射

我正在尝试使用java类将cassandra表映射到spark rdd,为此我遇到了cassandra无法创建查询来获取数据的问题。根据这个链接https:// ...

回答 1 投票 0

使用Spark Cassandra Connector的NoHostAvailableException(没有尝试过主机)

我遇到了Cassandra的DataStax Spark Connector问题。我的应用程序包含一个Spark操作,它在Cassandra数据库上执行许多单记录查询;一些......

回答 1 投票 1

无法连接到火花壳中的Cassandra

我正在尝试使用Spark-cassandra连接器连接到我的spark shell中的远程cassandra集群。但它抛出了一些不寻常的错误。我做github页面上提到的通常的事情......

回答 1 投票 2

如何在scala中使用spark cassandra连接器API

我之前的帖子:修复准备好的stmt警告。我无法解决它,只有一些建议,我尝试使用spark cassandra连接器来解决我的问题。但我对它完全感到困惑......

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.