問題タブ [hadoop-yarn]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
hadoop - YARN が Storm のような無限のジョブを管理する方法
数日前、Yahoo が Storm-on-YARN プロジェクトhttp://developer.yahoo.com/blogs/ydn/storm-yarn-released-open-source-143745133.htmlについて投稿しました。これにより、YARN で Storm を実行できるようになります。これは大きな改善ですが、YARN を使用した Storm のようなタスクの実行に関して 2 つの質問があります。Storm のようなタスクには、実行時間に制限はありません...つまり、Storm を実行すると、何日も何ヶ月も動作すると予想されます。リッスン キューなどです。つまり、実行時間に制限のない一連のタスクがあるということです (0% の進捗状況を報告したいと思います)。
1) タイムアウトについてはどうですか? 通常の M/R はハングアップすると殺されますが、それを防ぐ方法は? コードを調べましたが、特別なコードは見つかりませんでした 2) また、MR1 にはジョブが実行を待機するキューがあります。クラスターが 1 つのジョブを終了すると、キューから次のジョブを取得しました。YARNはどうですか？エンドレスな Storm のようなジョブ A とジョブ B をプッシュすると、ジョブ B が実行されますか?
申し訳ありませんが、私の質問がばかげているように見える場合は、何かを見逃している/理解していない可能性があります
hadoop - hadoop-2.0.5 alpha で hbase 0.95.1 が失敗する
hadoop-2.0.5-alpha、hbase-0.95.1-hadoop2、zookeeper-3.4.5 をインストールしました。Hadoop と Zookeper は正常に動作しています。HDFS と MR2 はうまく機能します。しかし、HBase は起動しません。誰もこのエラーを見たことがありますか? 以下に設定とログを投稿します。よろしくお願いします。
hbase-site.xml :
hbase-xxxx-master-master.log :
apache-spark - Windows マシンで Spark クラスターをセットアップするにはどうすればよいですか?
Windows マシンで Spark クラスターをセットアップしようとしています。
ここに行く方法は、スタンドアロンモードを使用することですよね?
Mesos や YARN を使用しないことの具体的なデメリットは何ですか? そして、それらのいずれかを使用するのはどれほどの苦痛でしょうか? ここで経験した人はいますか？
hadoop - 同じノードで NodeManager と ResourceManager を結び付ける
(デフォルトで) Hadoop Yarn の「リソース マネージャー」と同じノードに「ノード マネージャー」はありますか? そうでない場合、それらを同じノードで実行することは可能ですか?
hadoop - Oozie with Hadoop 2、ジョブが「RUNNING」でハングアップ
Java アクション ノードを含むワークフロー ジョブがあります。Hadoop 2.1.0.2.0.4.0-38 および Oozie 3.3.2.2.0.4.0 で実行 ジョブを送信すると、Hadoop Resource Manager 画面に 2 行が表示されます。1. オリジナルのジョブ名で 2. Oozie のジョブ名で。
Oozie ジョブ名のタスクが「RUNNING」状態でハングしている 元の名前のタスクは「Accepted」状態です。ログに表示されるのは次のとおりです。
ありがとうございました
hadoop - ヤーン クライアントを使用して HDP 2.0 (Hortonworks Hadoop) に接続する
VirtualBoxでHDP 2.0をダウンロードして起動し、YarnClientを使用してJavaから接続しようとしました
しかし、次のエラーに遭遇しました：
何がうまくいかないのですか？
中央レポの Hadoop ライブラリ バージョン 2.1.0-SNAPSHOT を使用しています。これが私の yarn-site.xml です。
接続がターゲットに到達します。サーバーログを調べたところ、認証の問題のようです:
しかし、すべてのドキュメントは、このすべてのセキュリティ機能をどのように構成する必要があるかについて、非常に沈黙しています。Hortonworks 製品を実際に使用した経験のある人はいますか?
hadoop - CDH4 は主に YARN 向けですか?
CDH4 に関していくつかの質問、またはむしろ混乱があります。質問に関して具体的な情報が得られなかったので、ここに投稿します。
CDH4 は YARN を促進するためのものですか? tarballを使ってCDH4.3.0でMapReduce1をセットアップしてみました。やっとできたけど、回りくどくてつらい。一方、YARN のセットアップは簡単です。
本番環境で YARN を使用している人はいますか? Apache は、YARN はまだアルファ版であり、本番用ではないと明確に述べています。そのような場合、Cloudera が CDH4 YARN セントリックを作成するのはなぜですか? Cloudera は本番環境で YARN をサポートしていますか?
質問が不適切な場合はお詫び申し上げます。
これは、tarball 抽出物がどのように見えるかです。
設定を行うためにいくつかのリンクをたどりましたが、それを行う必要があった方法に満足していません