4

データの SVD を計算しています。しかしspark-submit、ログ ファイルの状態を使用して Spark アプリケーションを送信するたびに、次のようになります。

WARN ARPACK/BLAS: Failed to load implementation from: com.github.fommil.netlib.NativeSystemARPACK/BLAS

with フラグを使用して Spark をビルドし-Pnetlib-lgpl、jar ファイルを作成するときに sbt ファイルに netlib 依存関係も含めます。

libraryDependencies ++= Seq(
    "org.apache.spark"  % "spark-core_2.10"              % "1.5.0" % "provided",
    "org.apache.spark"  % "spark-mllib_2.10"             % "1.3.0",
    "com.github.fommil.netlib"  %   "all"   %   "1.1.2"     pomOnly()
)

GCC と Gfortran のバージョンはgcc version 4.8.0 (GCC). BLAS、LAPACK、ATLAS もインストールし、netlib サイトの指示に従いました: https://github.com/fommil/netlib-java

としてインポートすると、spark-shellインポートされimport com.github.fommil.netlib._なかったと表示されません。

私はしばらくこの問題をデバッグしようとしましたが、アイデアがありません。誰かが親切にこれを理解するのを手伝ってくれます。

4

1 に答える 1

3

これは既知の問題点です。

@ https://github.com/PasaLab/marlin/issues/1の指示に従って、この恐ろしいことを Intel MKL を使用して Spark 1.4.x / 1.5.x で動作させることに成功しました。

ATALAS とリンクするには、これらの命令を微調整する必要がある場所が大まかに 1 箇所あると思いますが、実行可能であるはずです。

于 2015-12-31T12:12:15.713 に答える