問題タブ [dl4j]

私の画像は org.bytedeco.javacpp.Mat として表されます。そして、それをfloat / intのJava配列に変換したいだけです。変換の背後にある理由は、画像の並べ替えの目的で、他のライブラリ (Nd4j) の Java 配列を使用したいからです。以下のアプローチを試しましたが、うまくいきません。

CentOS 6.4 (x86_64) で deeplearning4j と eclipse を使用しています。

Intel MKL、OpenBLAS、ATLAS をダウンロードしてインストールしようとしました。

それでも、プログラムを実行すると、まだこのエラーが発生します。

2016 年 3 月 23 日 5:58:04 AM com.github.fommil.netlib.BLAS

警告: com.github.fommil.netlib.NativeSystemBLAS からの実装の読み込みに失敗しました

2016 年 3 月 23 日 5:58:04 AM com.github.fommil.netlib.BLAS

警告: com.github.fommil.netlib.NativeRefBLAS からの実装の読み込みに失敗しました

スレッド「メイン」での例外 java.lang.UnsupportedOperationException

...

gfortran > 4.7 のインストールについてオンラインで回答を見つけましたが、失敗しました。

私は deeplearning4j を使用していますが、ニューラル ネットワークから分類されたベクトルのテキスト パラグラフを取得する方法がわかりません。

分類率しかわかりませんでした。

これは私のコードです:

ありがとう！レナン。

spark-submit を使用する場合、依存関係を --packages で送信する必要があります。どのパッケージを使用すればよいですか?

依存関係を含む uber jar を作成しようとしましたが、次のエラーが発生します。

エラーは、次のコードの結果です。

現在、nd4j と dl4j を使用してディープ ラーニング アルゴリズムを実装しています。しかし、そもそもdatavec+dl4jが動作しません。

これが私の画像コンバーターです：

メインクラスは次のとおりです。

a画像フォルダーには、それぞれサブフォルダーにグレースケールの 28x28 画像がいくつかありますb。

ただしException in thread "main" java.lang.IllegalStateException: Unable to get number of of rows for a non 2d matrix投げられる。

でデータを調べると、次のdataSetIterator.next().toString()ようになります。

さらに、の出力dataSetIterator.next().get(0).toString()は

例の mnisterIterator は次のmnisterIterator.next().toString()ようになります。

dataSetIteratorそこから、返されたデータに間違った形式のデータが含まれていたと推測されます。

誰もそれを修正する方法を知っていますか?

私はword2vecが初めてです。この方法を適用して、word2vec によって科学出版物のアブストラクトから抽出された単語に基づいて、いくつかのクラスターを形成しようとしています。この目的のために、まずスタンフォード NLP を介して抄録から文を取得し、各文をテキスト ファイルの行に入れました。これで、deeplearning4j word2vec が必要とするテキスト ファイルを処理する準備が整いました ( http://deeplearning4j.org/word2vec )。

テキストは科学分野のものなので、数学用語や括弧がたくさんあります。以下の例文をご覧ください。

テキスト ファイルを準備した後、次のように word2vec を実行しました。

このスクリプトは、次のように、各行に関連するベクトル値を持つ多くの単語を含むテキスト ファイルを作成します。

次のステップとして、このテキスト ファイルを使用して、spark で k-means を介していくつかのクラスターを形成しました。以下のコードを参照してください。

上記の最新の scala コードの結果として、word2vec によって提案された単語ベクトルに基づいて 10 個のクラスターを取得しました。ただし、クラスターを確認したところ、明らかな一般的な単語は表示されませんでした。つまり、期待どおりの適切なクラスターを取得できませんでした。私のこのボトルネックに基づいて、いくつか質問があります。

1) word2vec のいくつかのチュートリアルから、データ クリーニングが行われていないことがわかりました。つまり、前置詞などがテキストに残されます。では、word2vec を適用する場合、どのようにクリーニング手順を適用すればよいでしょうか?

2) 説明的な方法でクラスタリングの結果をどのように視覚化できますか?

3) word2vec 単語ベクトルをニューラル ネットワークへの入力として使用できますか? もしそうなら、どのニューラル ネットワーク (畳み込み、再帰、再帰) メソッドが私の目標により適しているでしょうか?

4) word2vec は私の目標にとって意味がありますか?

前もって感謝します。

ユーザーが機械学習フレームワーク/反復回数/その他の調整パラメーターを選択できるWebアプリケーションを開発しました。すべての入力と表示応答をユーザーに渡して、ユーザー インターフェイスから Spark ジョブを呼び出すにはどうすればよいですか。フレームワーク (dl4j/spark mllib/ H2o) に応じて、ユーザーは入力 csv をアップロードするか、Cassandra からデータを読み取ることができます。

1. ユーザー インターフェイスから SPARK ジョブを呼び出すにはどうすればよいですか?
2. 結果をユーザーに表示するにはどうすればよいですか?

助けてください。