0

Hortonworks Sandbox 2.0 を入手しましたが、問題なく動作しています。今、Eclipse から接続しようとしていますが、接続できません。

  • Eclipse 上の Hadoop の場所は次のとおりです。
    Map/Reduce マスター: ホスト: localhost、ポート: 50020
    DFS マスター: ホスト: localhost、ポート:50040

エラーは次のとおりです。

localhost/127.0.0.1:50040 への呼び出しが接続例外で失敗しました: java.net.ConnectionException: 接続が拒否されました: 詳細情報はありません。

Hadoop Eclipse プラグイン 1.2.0 を使用しているため、エラーは Hadoop プラグインの不一致である可能性があると思いますが、Hadoop 2.2 用の Eclipse プラグインが見つかりませんでした。

スレッドHow to use java to connect hadoop 2.2.0 serverからの回答は、現在、Hadoop 2.2.0 用の Eclipse プラグインはないと言っていますか? 誰かがこれを案内してくれますか?

4

3 に答える 3

1

Hadoop 2.2.0 バージョンは、全体として jobtracker を使用しません。糸は、ジョブ トラッカーの作業を 2 つに分割しました。Apache Hadoop のドキュメントを参照してください。

まず、mapred-site.xml に移動し、すべてのインストール手順で言及されている他のプロパティと共に以下のプロパティを追加します。

mapreduce.jobtracker.address

ローカルホスト:54311

mapreduce.jobtracker.http.アドレス

0.0.0.0:50030

mapreduce.jobhistory.address

0.0.0.0:10020

mapreduce.jobhistory.webapp.address

0.0.0.0:19888

その後、hadoop の場所を次のように構成します。

Map/Reduce (V2) マスター

ホスト: ローカルホスト

ポート: 54311

DFSマスター

M/R マスター ホストを使用するチェック ボックスをオンにします。

ポート: 9000**

これですべてがうまくいきます。

于 2014-02-05T11:51:55.213 に答える
0

HortonWorks サンドボックスで Hive サーバーに接続できなかったとき、私は同様の状況に陥っていました。SandBox に使用する仮想イメージは、ネットワークに NAT を使用していることがわかりました。つまり、ゲスト OS (この場合はサンドボックス) の IP アドレスが、それが実行されているマシンと同じであるということです。効果的な通信を可能にするために、視覚化ソフトウェアにはポート フォワーディングがあります。サンドボックスの Hadoop 用にデフォルトで構成されているポートは、デフォルトで異なる (場合によっては同じ) ポートにマップされます。ホスト オペレーティング システムから特定のサービス/ポートに到達するためのポート フォワーディングと設定済みのルールを確認できます。さて、Hadoop 2.2.0 の eclipse プラグインについてですが、私はまだそれを行う方法を見つけることに成功していません。そのため、Hadoop 開発の旅に沿って、さらに投稿していきます。

于 2014-01-22T12:16:56.793 に答える
0

Jacky、サービスごとに異なるポートがあります。

50070は、すべての Hadoop システムが持つ HDFS サービスです (そのため、私はそれを提案しました)。

8888は、特定の Web サービス用の hortonworks のポートにすぎない可能性があります。

50030は Jobtracker ポートです

まず、VirtualBox に接続/通信できることを確認します (ホスト OS はゲスト サービスにアクセスできます)。その場合は、必要なサービス/ポートを見つけてください。例: Jobtracker API エラー - localhost/127.0.0.1:50030 への呼び出しがローカル例外で失敗しました: java.io.EOFException

これは大変な作業になる可能性があります。Cloudera ディストリビューションに必要なものがすべて揃っていることがわかっている場合は、Cloudera を選択してください。

于 2013-11-26T11:04:18.660 に答える