火花中的无形阴影不起作用 - 方法仍未找到

问题描述 投票:2回答:1

目前我在火花2.1中面临一些无形状的问题,其中仍然使用过时的无形状版本。我的一个依赖项(PureConfig当前版本的0.8.0)引入了一个更新版本的无形。

一个人应该可以使用:

assemblyShadeRules in assembly := Seq(
  ShadeRule.rename("shapeless.**" -> "new_shapeless.@1").inAll
)

修复method not found问题 - 但这没有帮助。

assemblyShadeRules in assembly := Seq(
  ShadeRule.rename("shapeless.**" -> "shadeshapless.@1")
    .inLibrary("com.chuusai" % "shapeless_2.11" % "2.3.2")
    .inLibrary("com.github.pureconfig" %% "pureconfig" % "0.8.0")
    .inProject
)

建议来自Spark not working with pureconfig(在我看来不应该比inAll选项更好)但也失败了(因为现在它正在打破库(pureconfig)会出现不同的错误)。

有什么建议来解决无形问题吗?

edit

目前,着色配置如下:

assemblyShadeRules in assembly := Seq(
  ShadeRule.rename("shapeless.**" -> "shadeshapless.@1")
    .inLibrary("com.chuusai" % "shapeless_2.11" % "2.3.2")
    .inLibrary("com.github.pureconfig" % "pureconfig_2.11" % pureconfigVersion)
    .inLibrary("com.github.pureconfig" % "pureconfig-macros_2.11" % pureconfigVersion)
    .inProject
)
apache-spark classpath shapeless sbt-assembly shading
1个回答
1
投票

不是真正的答案,但从火花2.2开始,它工作正常,因为火花依赖性升级。

© www.soinside.com 2019 - 2024. All rights reserved.