kryo 相关问题

Kryo是一个快速有效的Java对象图序列化框架。该项目的目标是速度，效率和易于使用的API。无论何时需要持久化对象，无论是文件，数据库还是网络，项目都非常有用。

我读到Kryo序列化程序在Apache Spark中使用时可以提供更快的序列化。但是，我通过Python使用Spark。转换到Kryo后，我仍然可以获得显着的好处......

apache-spark pyspark kryo

回答 2 投票 9

我有一个用Java编写并使用Spark 2.1的Spark流媒体应用程序。我正在使用KafkaUtils.createDirectStream来读取来自Kafka的消息。我正在使用kryo编码器/解码器用于kafka消息。我指定了......

java apache-spark apache-kafka spark-streaming kryo

回答 1 投票 6

使用spark-shell时，使用sparkConf.set（..）自定义SparkContext

在Spark中，有3种主要方法可以指定用于创建SparkContext的SparkConf的选项：作为conf / spark-defaults.conf中的属性，例如，line：spark.driver.memory 4g ...

scala apache-spark serialization kryo

回答 1 投票 16

Java Kryonet RSAPublicKeyImpl未注册

我正在尝试使用connection.sendTCP（key）从Kryonet服务器向客户端发送PublicKey（java.security.PublicKey）;这样做时我得到这个异常：线程“pool-1-thread-1”中的异常......

java kryo kryonet

回答 1 投票 0

Kryo内存不足

无论我尝试什么，我在使用Kryo序列化程序时都使用Spark 1.3.1获取此OOME（如果我使用默认的Java，我没有任何问题）15/06/25 20:16:37 WARN TaskSetManager：丢失的任务47.0 in ...

apache-spark kryo

回答 1 投票 1

为什么kryo注册不能在SparkSession中工作？

这是我的代码：public static SparkSession getTestSparkSession（String name）{SparkConf conf = new SparkConf（）。set（“spark.master”，“local”）。set（“spark.ui.port”，“8040”）.. 。

apache-spark elasticsearch serialization kryo

回答 2 投票 1

kryo 相关问题

最新问题