kryo 相关问题

Kryo是一个快速有效的Java对象图序列化框架。该项目的目标是速度，效率和易于使用的API。无论何时需要持久化对象，无论是文件，数据库还是网络，项目都非常有用。

Flink 卡在广播上

我遇到了 Flink 在广播状态写入时卡住的问题： ctx.collect(数据）其中 ctx 是 SourceContext 没有抛出任何异常，并且胎面转储卡在周围，...

java serialization apache-flink kryo

回答 1 投票 0

Kryo 序列化器比 EHCache 中的默认序列化器消耗更多空间

我尝试使用 Kryo 序列化程序将 Employee 对象保存到 EHCache 的堆外层，但它比我尝试不使用 Kryo 序列化程序保存它时占用的空间更多...

java serialization ehcache kryo ehcache-3

回答 1 投票 0

Kryo序列化系统，如何保证注册同一个类时生成相同的ID

我查了Kryo的源码，好像在注册一个类时，它使用了自增ID，如果是这样的话，如果writer和reader使用不同的注册会发生什么......

java kryo

回答 1 投票 0

如何使用嵌套 Map 作为 Spark 聚合器中的缓冲区？

我正在尝试实现一个 Scala Spark 聚合器，其中包含非基本类型（例如，Map[String, Set[String]]）的 Map 作为其缓冲区。看来我可以使用 kryo 或 ExpressionEncoder

scala apache-spark kryo

回答 1 投票 0

KryoException。由于无限递归而发生 Stackoverflow

我有一个项目，我使用 RedissonSpringCacheManager 和 RedissonClient 默认配置。我正在使用@Cacheable注释来缓存实体（不幸的是现在我无法缓存DTO实例...

spring recursion redis kryo redisson

回答 1 投票 0

如何使用 Kryo 序列化 Multimap？

问题我正在尝试使用 Kryo 序列化库序列化 LinkedHashMultimap，但在反序列化时收到 NullPointerException。最小的工作示例如下：进口com.

java serialization deserialization kryo

回答 2 投票 0

Spark 3 KryoSerializer 问题 - 无法找到类：org.apache.spark.util.collection.OpenHashMap

我正在将 Spark 2.4 项目升级到 Spark 3.x。我们遇到了一些现有的 Spark-ml 代码的障碍： var stringIndexers = 数组 [StringIndexer]() 对于（特征列<- FEATURE_COLS) {

scala apache-spark apache-spark-mllib kryo spark3

回答 1 投票 0

当类添加新字段时，Kryo 反序列化不起作用

我有一个使用 kryo-shaded 4.0.1 序列化的 java 类类定义： A类{ 私人诠释 c1；私人地图 c2； } 当我反序列化它时序列化后......

java serialization deserialization kryo

回答 0 投票 0

如何在java之外发送数据到kryonet？

我想了解如何使用kryonet，从java客户端发送和接收消息是很容易的，但是如果我想从一些UI工具如Hercules发送，或者不使用java代码，怎么办？在我看来...

java kryo kryonet

回答 1 投票 1

在spark-shell和Scala jars中用Kryo注册复杂的scala类。

我有一个新的spark 2.3.1应用程序......它运行正常了一段时间，但现在它打破了，因为数据量增加。最初的错误是kryo序列化问题... com.esotericsoftware.kryo...。

java scala apache-spark serialization kryo

回答 1 投票 0

Spark内部类Kryo注册

我是Spark的新手，我在kryo中使用2.4.4。 Spark作业将写入约100个零件文件，然后将引发以下异常，从而导致失败：Java.lang.IllegalArgumentException：Class is ...

scala apache-spark serialization kryo

回答 1 投票 0

使用在类路径中没有dto类的kryo反序列化

在kryo中是否可以将对象与数据模式一起序列化，或者从以标准方式序列化的数据中获取模式？我需要确保客户端不需要...

java serialization kryo

回答 1 投票 0

没有此类属性：类的ToInputStream：Script4

[我有一种情况需要将图形数据导入数据库。我正在使用Docker的cassandra（版本3）和elasticsearch（版本6.6.0）运行janusgraph（最新版本）。... >

docker gremlin janusgraph kryo

回答 1 投票 1

为什么不在spark中使用hadoop可写数据类型？

在hadoop中，我们不使用Java序列化，因为它体积大且速度慢。因此hadoop提供了与Java序列化相比快速的Writable。在spark中，我们默认使用Java序列化，如果...

java apache-spark hadoop serialization kryo

回答 1 投票 1

解决“ Kryo序列化失败：缓冲区溢出” Spark异常

我正在尝试运行Spark（Java）代码，并收到错误org.apache.spark.SparkException：Kryo序列化失败：缓冲区溢出。可用：0，必需：27“。建议其他帖子...

apache-spark kryo

回答 2 投票 4

Kryo setWarnUnregisteredClasses为true，在spark配置中什么也没显示

val conf = new SparkConf（）.setAppName（“ example”）.setMaster（“ local [*]”）.set（“ spark.serializer”，“ org.apache.spark.serializer.KryoSerializer”）.set（ “ setWarnUnregisteredClasses”，“ true”）...

scala apache-spark serialization kryo

回答 1 投票 1

Java序列化与kryo序列化的优缺点是什么？

在spark中，java序列化是默认值，如果kryo如此有效，那么为什么不将其设置为默认值。使用kryo是否有一些弊端，或者在什么情况下应该使用kryo或Java序列化？

apache-spark serialization kryo

回答 2 投票 0

在Spark中配置函数/ lambda序列化

如何配置Spark以将KryoSerializer用于lambda？还是我在Spark中发现了错误？我们对其他地方的数据序列化没有任何问题，只是这些lambda使用默认的...

java apache-spark lambda closures kryo

回答 1 投票 3

当Kryo序列化与Spark一起使用时，ProtoBuf中的NullPointerException

当我尝试序列化protobuf字段时，我在spark应用程序中遇到以下错误，该字段是键String和value float的映射。 Spark应用程序中正在使用Kryo序列化。...

apache-spark kryo protobuf-java

回答 1 投票 1

火花KRYO寄存器阵列类

我想注册一个数组类（火花与Java KRYO激活），日志显示一个明确的信息：类未注册：org.apache.spark.sql.execution.datasources.InMemoryFileIndex $ ...

java apache-spark kryo

回答 1 投票 6

kryo 相关问题

最新问题