問題タブ [hadoop-plugins]

Linux 環境で hdfs (apache hadoop) を構成して起動することができました。HADOOP ECLIPSE PLUGIN で Hadoop の Eclipse 環境をセットアップする方法をいくつか試しました。eclipse によって認識されるプラグイン jar のみが 1280 jira の問題にあり、hadoop src からの eclipse プラグインの構築など、他の方法では認識さえされません。1280 リンクからパッチを適用した jar には、「127.0.0.1:3515 EOFException に接続できません」と表示されます。また、多くのブログ/フォーラムでは、Hadoop にパッチを適用したり、さまざまなツールを使用してビルドしたりするさまざまな方法について述べています。開発者が環境をすばやく取得してさまざまな例に取り組むことができるように、Eclipse で構成する安定した Hadoop プロジェクトはありませんか? Cloudera VM を使用したくありません。なぜなら、hadoop を通常の方法で理解できなくなり、インストールは大きなファイルを扱うプロセスになるからです。

ありがとうチャクリ

Webアプリケーションと1つのリモートクラスターがあります（1つ以上の場合もあります）。これらのクラスターは、異なるマシン上に配置できます。Webアプリケーションから次の操作を実行したい：

1 HDFSアクション：-

• 新しいディレクトリを作成する
• HDFS（Hadoop分散ファイルシステム）からファイルを削除します
• HDFSに存在するファイルを一覧表示します
• ファイルをHDFSにロードします
• ファイルのアンロード

2ジョブ関連のアクション：-

• MapReduceジョブを送信する
• それらのステータス、つまり完了したジョブの量を表示します
• ジョブが完了するまでにかかった時間

これらのタスクをWebアプリケーションから（API、REST呼び出しなどを介して）実行するのに役立つツールが必要です。ツールは（Webアプリケーションと）同じマシンで実行され、特に、リモートクラスター。

最後のオプションとして（複数の異なるクラスターが存在する可能性があるため、それぞれにプラグイン、ライブラリなどがインストールされていることを確認するのは困難です）、Hadoopライブラリ、プラグインがあるかどうか疑問に思います-クラスター上にあり、リモートマシンからのアクセスを許可し、前述のタスクを実行します。

ボックスで Hadoop 設定を構成し、サンプル プログラムを使用してすべてがうまくいき、すべてのデーモンも実行状態にありました。翌日の朝 データ ノードが実行されていません。

ubuntu 12.04にmahoutをインストールするにはどうすればよいですか？

1年前に同様の質問が提起されているのを見ました。リンクはこちら： こちらをご覧ください

同様の構成がありますが、同じEOFExceptionエラーに直面しています。

Eclipse 用の Hadoop プラグインに問題があるのでしょうか、それとも私の Hadoop 構成に何か関係があるのでしょうか? (注: 私は標準構成に従っています。そのため、間違いの可能性はありません。また、bin/start-all.sh を実行すると、単一ノードの Hadoop クラスターは正常に動作しています)

以下は、HDFS への接続中の Eclipse からのスタック トレースです。

Hadoop NameNode ログは次のとおりです。

迅速なヘルプをいただければ幸いです。

「Hadoop で Kerberos を実装するにはどうすればよいですか?」を学習しようとしています。このドキュメントを確認しました https://issues.apache.org/jira/browse/HADOOP-4487 基本的なケルベロスのものも確認しました ( https://www.youtube.com/watch?v=KD2Q-2ToloE )

これらのリソースから学んだ後、私は図を通して表現している結論に達しました。シナリオ : - ユーザーが自分のコンピューターにログオンすると、Kerberos 認証によって認証され、マップ削減ジョブが送信されます (図の説明を読んでください。5 分もかかりません)ステップ(太字) 黄色の背景の数字はフロー全体を表します (番号 1 ～ 19) DT (赤い背景) は委任トークンを表します BAT (緑の背景) はブロック アクセス トークンを表します JT (茶色の背景) はジョブ トークンを表します

ステップ 1、2、3、および 4 は次のことを表しています。 質問 1) KDC はどこにありますか? 私の名前ノードまたはジョブトラッカーが存在するマシン上にある可能性はありますか?

ステップ 5、6、7、8、および 9 は次のことを表しています。Name Node は Delegation Token (red) を発行します User は Token renewer について伝えます (この場合は Job Tracker です)

質問 2) ユーザーは、この委任トークンをジョブと共にジョブ トラッカーに送信します。委任トークンはタスク トラッカーと共有されますか?

ステップ 10、11、12、13、および 14 は、次のことを表しています。- Job tracker のサービス チケットを要求し、KDC からサービス チケットを取得します。このチケットを Job Tracker に表示し、JobTracker から ACK を取得します。Job Tracker に Job + Delegation Token を送信します。

ステップ 15、16、および 17 は次のことを表しています。 - ブロック アクセス トークンを生成し、すべてのデータ ノードに分散します。blockID と Block Access Token を Job Tracker に送信すると、Job Tracker はそれを TaskTracker に渡します。

質問 3) 誰が Name Node から BlockAccessToken と Block ID を要求しますか? JobTracker または TaskTracker

すみません、間違えて18番を見逃してしまいました。Step19 は以下を表します:- ジョブ トラッカーはジョブ トークン (茶色) を生成し、それを TaskTracker に渡します。

質問 4) クラスタ全体に配布されるユーザーごとに 1 つの委任トークンがあり、ジョブごとに 1 つのジョブ トークンがあると結論付けてもよろしいですか? したがって、ユーザーは委任トークンを 1 つだけ持ち、多くのジョブ トークン (彼が送信したジョブの数に等しい) を持ちます。

何かを見逃していたり​​、説明のどこかで間違っていたりした場合は教えてください。

hadoop-eclipse-plugin-1.0.3.jar作業を進めるために、eclipse/pluginsディレクトリにコピーしました。しかし、残念ながらそれは私にはうまくいきませんでした。EclipseをHadoopバージョン1.1.1クラスターに接続しようとすると、次のエラーが発生しました。

これを修正するオプションはありますか？

CDH4 ( 4.2.0 ) の eclipse-plugin をビルドする方法を知っている人はいますか? 午前中ずっとグーグルで検索しましたが、4.1.2 以前のバージョンに関するヒントしか見つかりませんでした。

私の Hadoop クラスターは Cloudera Management によって構築されており、CDH の最新バージョンは 4.2.0 です。Eclipse プラグインの構築方法がわかりません。または、CDH バージョンを 4.1.2 にロールバックする必要がありますか? もしそうなら、それを行う方法は？

Eclipseで、新しいHadoopの場所を追加しようとしています。しかし、クリックして新しいHadoopの場所を追加しても、応答しません。私はhadoop1.0.4用の独自のプラグインを作成します。

私のマニフェストは以下のようになります、

Hadoop でデータ集約型のジョブを実行する場合。Hadoop がジョブを実行します。今私が欲しいのは、仕事が完了したときです。実行されたジョブに関する統計が表示されます。かかった時間、マッパーの量、リデューサーの量、その他の有用な情報。

ジョブ実行中にジョブトラッカーやデータノードなどのブラウザに表示される情報。しかし、Hadoop を介してジョブを実行し、ジョブの完了時にレポートのような結果を提供するアプリケーションで統計を取得するにはどうすればよいでしょうか。私のアプリケーションはJAVAです

私を助けることができるAPI。提案をいただければ幸いです。