問題タブ [hadoop-yarn]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
hadoop - リソースマネージャーを開始できません
新しい安定版リリースでリソース マネージャーを起動すると、次のエラーが発生します。
何が問題なのか助けてください。
hadoop - Javaコードからhadoop糸でワードカウントジョブを実行するには?
以下のような要件があります。
- 30 ノードの Hadoop YARN クラスターと、ジョブ送信用のクライアント マシンがあります。
- 世界的に有名なので、wordcount MR の例を使用しましょう。Java メソッドから wordcount MR ジョブを送信して実行したいと考えています。
では、ジョブを送信するために必要なコードは何でしょうか? クライアントマシンの構成に固有のものはありますか?
hadoop - Hadoop YARN セットアップ認証の問題
このページの指示に従って、単一マシンの糸クラスターをインストールしますhttp://hadoop.apache.org/docs/r2.0.5-alpha/hadoop-project-dist/hadoop-common/SingleCluster.html
しかし、サンプル jar を実行すると、そこでジョブがハングし、リソース マネージャーのログを確認すると、次のエラーが見つかります (1 つ目はクライアント側のログ、2 つ目はリソース マネージャーのログです)。
（クライアント側）
リソース マネージャー
hadoop - Hadoop Nodemanager と Resourcemanager が起動しない
Ubuntu 13.10 64 ビットで最新の Hadoop 2.2 シングル ノード クラスタをセットアップしようとしています。OS は新規インストールで、Java-6 64 ビットと Java-7 64 ビットの両方を使用してみました。
これからの手順を実行し、失敗した後、このリンクから、次のコマンドを使用して起動できませんnodemanager。resourcemanager
とリソースマネージャー
どちらもエラーで失敗します:
Resource Manager が同様のエラーで失敗します。NoClassDefFoundError
私はこれを何時間も試しており、Google を試してみましたが、何も機能しませんでした。私が見逃したものを教えてください。解決策を探している間のこれとこのリンクは機能しませんでした。
Java-6 と Java-7 64 ビットの両方を使用してみましたが、成功しませんでした。
編集
受け入れられた回答は例外を取り除くことに成功し、すべてのデーモンが開始されましたが、この質問で言及されているジョブの実行中にまだ例外があります
java - Hadoop 2 でジョブを実行中にクラスター例外を初期化できません
質問は私の前の質問にリンクされていますすべてのデーモンが実行されている、jps ショー:
ただし、wordcount例は次の例外で失敗し続けます。
問題は構成にあるとのことなので、ここに構成ファイルを投稿します。目的は、単一ノード クラスターを作成することです。
ヤーンサイト.xml
core-site.xml
hdfs-site.xml
mapred-site.xml
何が足りないのか、何が間違っているのか教えてください。
hadoop - Hadoop 2.2.0 で Nutch 1.6 を実行する
Hadoop 2.2.0 で Nutch 1.6 を実行しようとした人はいますか?
箱から出して実行してみましたが、最初に発生した問題は、インジェクターで次のエラーが表示されることでした。
これを解決する方法はありますか？ありがとう！
hadoop-yarn - YARN でのリソース マネージャー、ノード マネージャー、およびアプリケーション マスターの高可用性
YARN に関するドキュメントを読んでも、YARN のリソース マネージャー、ノード マネージャー、およびアプリケーション マスターの HA に関する関連情報を見つけることができませんでした。それらは単一障害点ですか? もしそうなら、改善する計画はありますか？
hadoop-yarn - YARN での yarn-site.xml と yarn-default.xml の比較
YARN の yarn-site.xml と yarn-default.xml の違いは何ですか? Hadoop 2.2 で yarn-default.xml が廃止されたようですか?
hadoop - 連結された bz2 ファイルのロードはサポートされていません (YARN 2.2 + Pig 0.12)
Pig 0.12 と YARN 2.2 の上で pig スクリプトを使用して連結された bz2 ファイルを処理していたところ、次のエラー メッセージが表示されました。
YARN 2.2 には、連結された bz2 ファイルの処理 ( https://issues.apache.org/jira/browse/HADOOP-6835 ) の修正が必要だと思っていましたが、まだですか? または、Pig は、基礎となる MapReduce フレームワークに依存するのではなく、bzip2 ファイルを独自に処理しますか、それともパラメーターを設定する必要がありますか?