我读到Kryo序列化程序在Apache Spark中使用时可以提供更快的序列化。但是，我通过Python使用Spark。
切换到Kryo序列化器后，我仍然可以获得显着的好处吗？
Kryo不会对PySpark产生重大影响，因为它只是将数据存储为byte[]对象，即使使用Java也可以快速序列化。
但它可能值得一试 - 你只需设置spark.serializer配置并尝试不注册任何classe。
可能产生更大影响的是将数据存储为MEMORY_ONLY_SER并启用spark.rdd.compress，这将压缩它们的数据。
在Java中，这可能会增加一些CPU开销，但Python运行速度要慢得多，所以它可能并不重要。它还可以通过减少GC或让您缓存更多数据来加速计算。
参考：邮件列表中的Matei Zaharia's answer。
这一切都取决于你说PySpark时的意思。在过去两年中，PySpark开发与Spark开发一般，从低级RDD API转向高级API，如DataFrame或ML。
这些API本身在JVM上实现，Python代码主要限于在驱动程序上执行的一堆RPC调用。其他所有代码都与使用Scala或Java执行的代码完全相同，因此它应该以与本机应用程序相同的方式受益于Kryo。
我将争辩说，当你将Kryo与PySpark一起使用时，最终会失去很多东西，当你的应用程序严重依赖于“原生”API时，可能会有所收获。