問題タブ [hadoop2]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
hadoop - MapReduce タスクが互いに独立していることを確認するにはどうすればよいですか?
興味深いのですが、MapReduce や Hadoop などでは、データのチャンクを独立して操作されるタスクにどのように分割するのでしょうか? タスク間の状態条件などと非常に相互に関連しているデータを持つことが一般的であることを考えると、それがどのようになるか想像するのに苦労しています.
hadoop - Hadoop: Apache Mahout でベイジアン アルゴリズムを実装する際のエラー
Mahout でのベイジアン アルゴリズムの実行に問題があります。Maven でビルドし、ジョブ ファイルはターゲット ディレクトリにあります。Hadoop を使用して端末から実行すると、ClassNotFoundException エラーが発生します。何をすべきですか？
スレッド「メイン」での例外 java.lang.ClassNotFoundException: java.net.URLClassLoader$1.run(URLClassLoader.java:200) の org.apache.mahout.classifier.bayes.mapreduce.bayes.bayesdriver (java.security.AccessController)。 doPrivileged(Native Method) の java.net.URLClassLoader.findClass(URLClassLoader.java:188) の java.lang.ClassLoader.loadClass(ClassLoader.java:307) の java.lang.ClassLoader.loadClass(ClassLoader.java:252) java.lang.ClassLoader.loadClassInternal(ClassLoader.java:320) で java.lang.Class.forName0(Native Method) で java.lang.Class.forName(Class.java:247) で org.apache.hadoop.util .RunJar.main(RunJar.java:149)
hadoop - Hadoop 疑似分散モード エラー
Virtualbox を使用して OpenSuse 11.2 VM に Hadoop をセットアップしました。前提条件の構成を作成しました。この例をスタンドアロン モードで正常に実行しました。しかし、疑似分散モードでは、次のエラーが発生します。
hadoop - Hadoop: レデューサーがエラーを生成しています
私Exceeded MAX_FAILED_UNIQUE_FETCHESは削減フェーズに乗り続けます。
オンラインで見つけることができるすべてのソリューションを試しましたが。
ノード: インストールされたサービス
Master_Node: Namenode、JobTracker
構成ファイルは以下に添付されています。
core-site.xml
mapred-site.xml
hadoop - Hadoop namenode : 単一障害点
Hadoop アーキテクチャの Namenode は単一障害点です。
大規模な Hadoop クラスターを使用している人々は、この問題にどのように対処していますか?.
プライマリ Namenode に障害が発生した場合にセカンダリ Namenode が引き継ぐ、業界で受け入れられているソリューションはありますか?
hadoop - hadoop distcp フェイルオーバー hftp プロトコル
hftp プロトコルで distcp を使用して、cdh3 および cdh4 からファイルをコピーしたいと考えています。コマンドは次のようになります。
hadoop distcp hftp://cluster1:50070/folder1 hdfs://cluster2/folder2
しかし、http connection errorjobtracker UIの一部が原因でジョブが失敗します
上記の例外により一部のファイルが失敗することを除いて、folder1 内のほとんどのファイルは folder2 にコピーされます。誰もが私と同じ問題を抱えていますが、この問題を解決するにはどうすればよいですか? 前もって感謝します。
java - Hadoop 「お使いのプラットフォームのネイティブ Hadoop ライブラリを読み込めません」という警告
現在、 CentOsを実行しているサーバーで Hadoop を構成しています。start-dfs.shまたはを実行するとstop-dfs.sh、次のエラーが表示されます。
WARN util.NativeCodeLoader: お使いのプラットフォームのネイティブ Hadoop ライブラリをロードできません... 該当する場合は組み込みの Java クラスを使用します
Hadoop 2.2.0を実行しています。
オンラインで検索すると、次のリンクが表示されます: http://balanceandbreath.blogspot.ca/2013/01/utilnativecodeloader-unable-to-load.html
ただし、/native/hadoop 2.x のディレクトリの内容は異なるようで、どうすればよいかわかりません。
また、次の 2 つの環境変数を に追加しましたhadoop-env.sh。
export HADOOP_OPTS="$HADOOP_OPTS -Djava.library.path=/usr/local/hadoop/lib/"
export HADOOP_COMMON_LIB_NATIVE_DIR="/usr/local/hadoop/lib/native/"
何か案は？