如何在不连接Cassandra的情况下创建CassandraTableScanJavaRDD?

问题描述 投票:0回答:1

我正在尝试对连接到Cassandra并执行select语句的方法进行单元测试。然后将返回的CassandraTableScanJavaRDD转换为数据帧并进行进一步处理。

对于我的单元测试,我不想使用嵌入式cassandra。我正在尝试使用mockito来模拟CassandraTableScanJavaRDD。但我无法在其中放入一些虚拟数据。如何创建CassandraTableScanJavaRDD实例并在其中存储一些数据,而不实际连接到cassandra。

java apache-spark spark-cassandra-connector
1个回答
0
投票

您可以尝试使用Spark Cassandra Connector Embedded - 对于许多测试用例它应该可以工作,我认为只有Spark Streaming工作才可能需要真正的Cassandra。

安装程序取决于您的包管理器 - 例如,对于SBT,它将是:

"com.datastax.spark"  %% "spark-cassandra-connector-embedded" % {version}

最新版本是2.4.0,但您可能需要使用另一个版本,具体取决于您使用的Spark版本...

© www.soinside.com 2019 - 2024. All rights reserved.