Spark netlib-java BLAS

Question

我正在尝试对无法正常工作的 apache Spark 和 netlib 设置进行故障排除，但我不知道下一步该做什么。

这里有一些信息：

• Spark 1.3.1（但也尝试过 1.5.1）
• 具有 3 个节点的 Mesos 集群

• 每个节点上的 Ubuntu Trusty 并安装了以下 BLAS 包

  $ dpkg -l | grep 'blas\|atlas\|lapack'
  ii  libopenblas-base                    0.2.8-6ubuntu1                   amd64        Optimized BLAS (linear algebra) library based on GotoBLAS2
  
  $ update-alternatives --get-selections | grep 'blas\|lapack'
  libblas.so.3                   auto     /usr/lib/openblas-base/libblas.so.3
  

我已经构建了一个示例 jar 来测试 netlib-java 是否可以检测到这个库，代码如下：

object Main extends App {
  println(com.github.fommil.netlib.BLAS.getInstance().getClass().getName())
  println(com.github.fommil.netlib.LAPACK.getInstance().getClass().getName())
}

当我执行此代码时，我得到以下响应：

$ java -jar artifacts/BLAStest-assembly-1.0.jar
Mar 29, 2016 3:43:33 PM com.github.fommil.netlib.BLAS <clinit>
WARNING: Failed to load implementation from: com.github.fommil.netlib.NativeSystemBLAS
Mar 29, 2016 3:43:33 PM com.github.fommil.jni.JniLoader liberalLoad
INFO: successfully loaded /tmp/jniloader6790966128222263615netlib-native_ref-linux-x86_64.so
com.github.fommil.netlib.NativeRefBLAS
Mar 29, 2016 3:43:33 PM com.github.fommil.netlib.LAPACK <clinit>
WARNING: Failed to load implementation from: com.github.fommil.netlib.NativeSystemLAPACK
Mar 29, 2016 3:43:33 PM com.github.fommil.jni.JniLoader load
INFO: already loaded netlib-native_ref-linux-x86_64.so
com.github.fommil.netlib.NativeRefLAPACK

所以它在这里似乎工作得很好。 但 Spark 无法检测到库。我已将此 java 依赖项添加到我的程序集 jar 中

com.github.fommil.netlib:all:1.1.2

如果我尝试用这个包启动 Spark shell，它也不起作用。

spark-shell --packages com.github.fommil.netlib:all:1.1.2

Answer 1

看起来您的 netlib-java 实现正在加载 NativeRefBLAS，而不是 NativeSystemBLAS。这意味着您包含“com.github.fommil.netlib:all”工作正常，因为没有它您将使用非本机 F2J 实现。问题是您想要使用系统提供的 BLAS (OpenBLAS)，而不是 netlib-java 附带的参考实现。这可能只是将正确的共享库放在 Spark 执行器可见的位置的问题。

你说你链接了libblas.so.3，但正如netlib-java readme中所述，你还需要配置libblas.so、liblapack.so和liblapack.so.3：

sudo apt-get install libatlas3-base libopenblas-base
sudo update-alternatives --config libblas.so
sudo update-alternatives --config libblas.so.3
sudo update-alternatives --config liblapack.so
sudo update-alternatives --config liblapack.so.3

Answer 2

按照下面的指南，我可以使用本机 BLAS 库。

https://spark.apache.org/docs/latest/ml-linalg-guide.html

https://github.com/luhenry/netlib

sbt 依赖：

"dev.ludovic.netlib" % "blas" % "3.0.3"

然后在您的 scala 代码中，检查以下语句：

// import statement
import dev.ludovic.netlib.blas.NativeBLAS

// print this in your function
println(s"BLAS dev.ludovic.netlib.blas.NativeBLAS: ${NativeBLAS.getInstance()}")