0

JobTracker が動的 (ノードからノードへ移動) として構成されている小さな Hadoop クラスターがあります。コマンドラインではなく、一般的な WebUI (Hadoop MapReduce Job Tracker) を介して、データ、ログ ファイル、および対話をより一般に公開したいと考えています。
Hadoop クラスター内のすべてのノードでアウトバウンド用に Web ポートを開き、すべてのノードに共通の DNS エイリアスを作成して、JobTracker ノードへの一定の参照が存在するようにすることを考えた実装です。これはベストプラクティスですか?また、エンドユーザーがアクセスできるApache Hue ( http://www.gethue.com )のようなフロントエンド アドオンのインストールにも関心があります。

JobTracker を静的にする機能があることは知っています。これにより、この問題は解決されますが、おそらく他の問題が発生する可能性がありますが、専用ノードを作成することで、Hadoop の意図した目的とクラスター化されたノードの機能の一部が排除されると確信しています。

管理者とエンドユーザーがアクセスできる一貫性のある URL を戦略的に最適に展開する方法についての洞察に感謝します。

4

1 に答える 1

0

Hue は JT HA をサポートしているため、可能なジョブトラッカーのホスト/ポートをリストすることができ、Hue は有効なものを選択します。

ただし、再構成して Hue を再起動するたびに、 hue.iniを新しいホスト名で更新するのが最善の方法です。

Cloudera Manager を使用してクラスターを再構成すると、Hue も自動的に更新されます。

于 2013-11-19T21:18:42.143 に答える