問題タブ [hadoop-yarn]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
hadoop - CDH 4.1: 子の実行中にエラーが発生しました: java.lang.OutOfMemoryError: Java ヒープ領域
私は突然の問題を克服しようとしています。その問題が発生する前は、古い VM を使用していました。新しい VM をダウンロードしましたが、まだジョブを実行できません。Java heap space error が発生します。私はすでにこの 1 つの投稿を読みました: Hadoop のメモリ不足エラー
/etc/hadoop/conf からの私の構成は次のとおりです。
sudo vi hadoop-env.sh
ここに私のmapred-site.xmlがあります
何も役に立たない:(
コンソール出力は次のとおりです。
これが私のログです：
次に何を試すことができますか？助けてください。ありがとうございました。
hadoop - Hadoop Yarn はグリッドを実行できますか?
Hadoop Yarn インスタンスは、地球上のさまざまな場所やネットワークからノードを管理できますか? 異なるプラットフォームを使用するノードを管理できますか?
私が見つけた Yarn に関するすべてのメモは、Yarn がクラスターを管理することを示していますが、デプロイするアプリが Java で記述されている場合、ノードのハードウェアに関係なく、おそらくノードで動作するはずです。同様に、Yarn は、単なる LAN 以上のものをサポートするのに十分一般的なようです。
hadoop - AM コンテナが仮想メモリの制限を超えて実行されています
分散シェル アプリケーション (hadoop-2.0.0-cdh4.1.2) で遊んでいました。これは、私が現在受け取っているエラーです。
ls興味深いのは、単純なorunameコマンドが正常に完了し、出力が container2 stdout で利用可能だったため、セットアップに問題がないように見えることです。
セットアップに関しては、yarn.nodenamager.vmem-pmem-ratio使用3可能な物理メモリの合計は 2GB で、たとえば実行するには十分すぎると思います。
問題のコマンドに対して、「ping localhost」は 2 つの応答を生成しました。containerlogs/container_1357039792045_0005_01_000002/721917/stdout/?start=-4096.
それで、何が問題になるのでしょうか？
hadoop - tarball を使用した CDH4 のインストール
tarball 経由で CDH をインストールするのに苦労しています。手順やガイドを説明するドキュメントはありません。サーバーにルート アクセス権があり、疑似モードで tarball 経由で CDH4 をインストールしたいと考えています。誰でも助けることができますか？同じサーバーにApache Hadoopもインストールされていますが、既存のApache Hadoopに影響を与えることなく、このCDHをインストールしたいと考えています。
hadoop - YARNのコンテナとは?
YARNのコンテナとは? nodemanager 上のタスクが実行される子 JVM と同じですか、それとも異なりますか?
hadoop - Hadoop Fair / Capacity SchedulerをMR1で使用できますか？
私が読んだことから、YARN（MRv2）を使用すると、デフォルトのFIFOスケジューラーを置き換えて、スケジューラーをプラグインすることができます。私の質問は、MRv1でも同じことができるかということです。古いバージョンのHadoopでFIFOスケジューラーを置き換える方法はありますか、それともYARNでのみ提供されるものですか？
hadoop - Hadoop 0.23.0 でノード マネージャを起動できません
クラスタに Hadoop 0.23.0 をインストールしているときに、ノード マネージャが起動できず、次のエラーが発生します。
api - Hadoop のリリースと新しい API
Hadoop のリリースと新しい API について非常に混乱しています。私は Hadoop 0.20.203 に関するプロジェクトを持っていましたが、それをアップグレードする時が来たと思います。0.23 または 2.0.2 の YARN を含むバージョンを使用したいと考えています。Hadoop サイトによると 2.0.2 は 0.23 に似ていますが、より優れているため、バージョン 2.0.2 をインポートしました。新しい API は、org.apache.hadoop.mapred ではなく org.apache.hadoop.mapreduce にあるはずであり、0.20 バージョンからこのパッケージを既に持っていたので、何も変更する必要はありませんでした。Job クラスにはすべてのコンストラクターが非推奨になっていますが、このクラスをどのように使用すればよいですか? また、プロジェクトを実行すると、mapred パッケージに言及する多くの非推奨警告が表示されます。
出力に非推奨のものを含めるように質問を編集しました
hadoop - NodeManager が Hadoop Yarn で開始されていない
今のところ、スタンドアロン モードで Hadoop と yarn をセットアップしました。すべてのプロセスを糸で開始しようとしています。nodemanager を除くすべてのプロセスが開始されます。毎回jvmエラーをスローしています。
何が問題になる可能性がありますか? どんな助けでも大歓迎です。