問題タブ [hipi]

画像を処理するためにhipi mapreduceを使用しています。mapreduce プロセス中に、イメージヘッダーに元のファイル名が見つかりません。

Hipi の画像ヘッダーに、画像を識別するためのメタデータを追加できますか?

Hadoop上でテンプレートマッチングを使ったプログラムを作りたいです。私はそれでhipiを使用します。

しかし、プログラムを実行すると、以下のようなエラー「OutOfMemoryError」が発生しました。

CvException [org.opencv.core.CvException: cv::Exception: /home/ubuntu/opencv/opencv-2.4.11/modules/core/src/alloc.cpp:52: エラー: (-4) 割り当てに失敗しました 67737604関数 OutOfMemoryError のバイト数]

少数の写真でテストした場合、ローカル PC とサーバー PC の両方でうまく機能します。また、300 枚の写真 (約 300MB) を備えた Hadoop スタンドアロン用にセットアップされたローカル PC でテストした場合も、問題なく動作しました。

しかし、サーバーで 300 枚の写真でテストした場合、10 ～ 11 枚の写真でうまく機能し、そのようなエラーが発生しました。

私のコードを見たい場合は、私のコードを github で見ることができます

https://github.com/kangilkueon/graduation_portfolio/blob/master/templateMatchingHadoop.java

これについて助けてもらえますか？

私はHIPIに取り組んでおり、サンプルプログラムを始めています。

常に次の例外が発生しているため、実行できません。

ビルド パスは、指定されたライブラリ (hipi/core/build/libs/hipi-2.1.0.jar) で既に更新されています。

ほぼ全箇所チェック!! 私を助けてください。

以下はサンプルプログラムです。実行しようとしています：

Cloudera VM (cdh-5.4.2) でチュートリアルに従おうとしましたが、ビルドされた jar を実行してピクセル数をカウントしようとすると例外が発生します。

ビルド自体は成功します:

しかし、jar を実行すると、次のエラーがスローされます。

同じルート hipi 親プロジェクトのサンプル フォルダー内のこのサブプロジェクトの私の build.gradle は次のとおりです。

誰かが私が欠けているものとそれを実行する方法を手伝ってくれますか?

私はgradleが初めてなので、他のプロジェクトで使用するためにeclipseでhipiを構成できなかったため、ターミナルのみで実行しようとしています。誰もそれで私を助けることができますか？

注：インターネットアクセスが制限されているため、システムにダウンロード許可がほとんどありません。

私は HIPI/Hadoop の初心者なので、cloudera クイックスタート VM (5.4.2) を選択します。私はそれを行うための入門チュートリアルに従っています。実行中に、以下に示すように、hib ファイルにファイルがあることがわかりました。

しかし、jar ファイルで実行しようとすると、次のエラーが発生します。

リソース マネージャーの下のログ ファイルには、次のように記載されています。

助けて。エラーを見つけることができません。

Java 1.8、Hadoop 2.6.0-cdh5.4.2 を使用しています。

HADOOP_CLASSPATH : /usr/lib/hadoop/lib HADOOP_YARN_HOME : /usr/lib/hadoop-yarn HADOOP_MAPRED_HOME: /usr/lib/hadoop-mapreduce HADOOP_CONF_DIR : /etc/hadoop/conf

wordcount の例でテストしましたが、成功しました。

hduser@akshay-Lenovo-G580:~$ hadoop jar /home/hduser/HipiDemo.jar HelloWorld sampleimages.hib sampleimages_average 警告: $HADOOP_HOME は非推奨です。

スレッド「メイン」の例外 java.lang.NoClassDefFoundError: org/hipi/imagebundle/mapreduce/HibInputFormat at HelloWorld.run(HelloWorld.java:44) at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65) ) org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:79) で HelloWorld.main(HelloWorld.java:67) で sun.reflect.NativeMethodAccessorImpl.invoke0(ネイティブ メソッド) で sun.reflect.NativeMethodAccessorImpl. java.lang.reflect.Method.invoke(Method.java:606) で、sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) で、org.apache.hadoop.util.RunJar で、invoke(NativeMethodAccessorImpl.java:57) .main(RunJar.java:160) 原因: java.lang.ClassNotFoundException: org.hipi.imagebundle.mapreduce.HibInputFormat at java.net.URLClassLoader$1.run(URLClassLoader.java:366) で java.net.URLClassLoader$1.run(URLClassLoader.java:355) で java.security.AccessController.doPrivileged(Native Method) で java.net.URLClassLoader.findClass(URLClassLoader.java:354) で java.lang. ClassLoader.loadClass(ClassLoader.java:425) at java.lang.ClassLoader.loadClass(ClassLoader.java:358) ... 9 詳細

私のコード:

HIB 内の画像に対してジョブ Facecount を実行しようとすると、この例外が発生します。クラスパスに hipi-2.1.0.jar を含めました。

Hadoop ジョブ ログに、次のスタック トレースが出力されました。

この問題を解決するにはどうすればよいですか?