spark-cassandra-connector是否支持内置的负载平衡?

问题描述 投票:0回答:1

我有基于Scala的应用程序,我需要将其连接到Cassandra。我发现DataStax Enterprise驱动程序在这方面非常有用,并且这些驱动程序具有很多很酷的功能,例如Cassandra的内置负载平衡,这对我来说真的很重要。不幸的是,Scala没有任何本地DSE驱动程序。我知道我们可以使用DSE Java驱动程序,但是在那种情况下,我们失去了许多Scala出色的功能。我还发现了由Datastax构建的spark-cassandra-connector,但是这种内置的负载平衡对我来说确实很重要,我不知道spark-cassandra-connector是否支持它。

在使用DSE Java驱动程序的基于Java的应用程序中,我需要在以下配置文件中配置内置负载均衡器:

datastax-java-driver.basic.load-balancing-policy {
  class = DefaultLoadBalancingPolicy
}

我不知道在Scala中使用spark-cassandra-connector的等效方法,我甚至不确定是否可行。任何帮助,将不胜感激。谢谢。

scala cassandra datastax
1个回答
0
投票

[在Scala中,您可以只使用Java驱动程序-开箱即用,您不只支持基本的Scala类型,但是您可以通过将java-driver-scala-extras导入项目(作为源代码)来解决此问题-它至少适用于驱动程序3.x。另一个问题是对Option的支持,但这可以通过Java的具有extra codec in Java driver的可选件来完成。

关于驱动程序的定制-该部分应与Scala一起使用,无需更改。关于Spark中默认策略的支持-出于特殊原因,Spark Cassandra连接器有一个单独的策略-它与Java的默认策略很接近,但是具有Spark的详细信息。

© www.soinside.com 2019 - 2024. All rights reserved.