从Cassandra表列批量复制到文件

Question

我需要将cassandra数据库列复制到文件中。 数据库有1500万条记录，其中包含以下列。我想将付款列数据复制到文件中。因为它是一个会导致cassandra集群压力的生产环境。

userid      | contract | payment | createdDate

有什么建议？

在我们想要修改的1500万付款细节中（基于某些条件）并插入到不同的Cassandra表中。

复制到文件 - >处理它 - >将其写入新的数据库表。这就是计划。但首先如何从cassandra数据库中获取列的副本。

关心Kiran

Answer 1

您可以使用Spark + Spark Cassandra Connector（SCC）执行数据加载，修改和写回。 SCC有许多旋钮可用于调整吞吐量，以便在读写时不会使群集过载。

如果你没有Spark，你仍然可以在获取数据时使用类似的方法 - 不发出select * from table（这将使处理请求的节点重载），而是通过特定的令牌范围执行数据加载，因此查询将去不同的服务器，不要过多地重载它们。您可以找到通过令牌范围here进行扫描的代码示例。