连接Apache Spark和Cassandra以进行集群查询
spark-cassandra-connect python deleteFromCassandra方法
我正在Databricks Notebook上使用Spark，Cassandra，Spark-Cassandra-Connector，根据他们的网站，我们可以使用'deleteFromCassandra'删除行：https://github.com/datastax/spark-cassandra-。 。
spark-cassandra-connector配置：并发读取与输入读取reads_per_sec
阅读https://github.com/datastax/spark-cassandra-connector/blob/master/doc/reference.md#read-tuning-parameterscurrent.reads时感到困惑：设置joinWithCassandra的读取并行度...] >
我需要将Cassandra分区写为实木复合地板文件。由于我无法在foreach函数中共享和使用sparkSession。首先，我调用collect方法来收集驱动程序中的所有数据，然后编写...
这听起来像是一个非常笼统的问题，我希望答案是“是，但是”。预计明年会有100 Gb的各种数据到达，我想建立一个稳定的结构。这些数据将...
我正在使用spark-cassandra-connector-2.4.0-s_2.11将数据从spark写入Databricks集群上的Cassandra。我在将数据从Spark写入Cassandra时遇到java.lang.NullPointerException。 ...
是否有办法找出Cassandra中的SELECT语句使用了哪个节点？
我已经为spark-cassandra-connector编写了一个自定义LoadBalancerPolicy，现在我想确保它确实有效！我有一个具有3个节点的Cassandra集群和一个具有复制功能的键空间...
我正在使用spark将一些数据从一个cassandra表移动到另一个集群上的另一个cassandra表。我为以下源集群之一指定了cassandra配置：/ * spark ....
从spark数据帧插入cassandra表会导致org.codehaus.commons.compiler.CompileException：文件'generated.java'错误
我正在使用spark-sql.2.4.1v，datastax-java-cassandra-connector_2.11-2.4.1.jar和java8。我这样创建cassandra表：create company（company_id int PRIMARY_KEY，company_name text）; ...
在远程主节点中运行forEachPartition时，Apache Spark java.lang.ClassCastException
我有一个Java微服务，该微服务连接到Apache Spark集群，并使用Datastax Spark-Cassandra连接器将数据持久保存到apache Cassandra数据库集群。我写了以下方法...
具有RetryPolicy的Datastax spark cassandra连接器，用于将DF写入cassandra表中
我正在尝试将一致性级别为“ EACH_QUORUM”的spark数据帧写入cassandra。我的代码如下所示：val sparkBuilder = SparkSession.builder（）。 config（cassandraHostPropertyProperty，...
我试图加载它与收集的数据类型两个属性为卡桑德拉表火花数据帧。在进入的原料的文件，这些属性是文本/字符串。我用下面的代码...
如何在不连接Cassandra的情况下创建CassandraTableScanJavaRDD？
我正在尝试对连接到Cassandra并执行select语句的方法进行单元测试。然后将返回的CassandraTableScanJavaRDD转换为数据帧并进行进一步处理。 ...
来自kafka的Spark Structured Streaming以分布式方式在Cassandra中保存数据
我试图创建一个从Kafka到Spark的结构化Streaming，这是一个json字符串。现在想要将json解析为特定列，然后将数据帧保存到cassandra表中，并具有最佳值...
Spark parquet s3错误：AmazonS3Exception：状态代码：403，AWS服务：Amazon S3，AWS请求ID：xxxxx，AWS错误代码：null
我正在尝试阅读AWS S3中存在的镶木地板文件并获得以下错误。 17/12/19 11:27:40 DEBUG DAGScheduler：ShuffleMapTask结束于0 17/12/19 11:27:40 DEBUG DAGScheduler：...
我正在尝试使用Apache Spark来处理我的大型（~230k条目）cassandra数据集，但我经常遇到不同类型的错误。但是我可以在......时成功运行应用程序
哪个版本应该使用java语言进行Spark cassandra连接？
我正在尝试使用Java语言连接spark和cassandra数据库。连接spark和cassandra我使用最新版本的Spark-cassandra-Connector，即2.4.0。目前我可以连接......
我从某个地方获取数据并将其插入每天的cassandra然后我需要从cassandra中检索整个星期的数据并进行一些处理并将结果插回到cassandra ....
在Cassandra 3.11.4中服务器端的慢查询记录器Cassandra
根据https://issues.apache.org/jira/browse/CASSANDRA-12403我尝试使用Cassandra 3.11.4上的以下步骤启用慢速查询记录，但无法查询它们是什么问题，或者我...
我有一个表，其结构大致如下 - > CREATE TABLE keyspace_name.table_name（id text PRIMARY KEY，type text，bool_yn boolean，created_ts timestamp，modified_ts ...