問題タブ [hadoop-plugins]

Hadoop マルチノード クラスタの実行中に、マスター ログに以下のエラー メッセージが表示されました。新しいユーザーを作成する必要がありますか、またはここで既存のマシンのユーザー名を指定できますか

2013-07-25 19:41:11,765 警告 org.apache.hadoop.security.UserGroupInformation: ユーザー webuser に使用できるグループがありません 2013-07-25 19:41:11,778 警告 org.apache.hadoop.security.ShellBasedUnixGroupsMapping: 例外が発生しましたユーザー webuser org.apache.hadoop.util.Shell$ExitCodeException: id: webuser: No such user のグループを取得しようとしています

hdfs-site.xml ファイル

core-site.xml

mapred-site.xml

私はhttp://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-multi-node-cluster/に従いました。

Hadoop 1.2.0 桟橋-6.1.26

hdfs-site.xml の外観を追加した後

ハイブ コマンド ライン インターフェイスを実行しようとすると、次のエラーが発生します。問題の原因となっている互換性のない Jar ファイルと、それを修正するための解決策を教えてください。

Hadoop 0.20.2 をダウンロードし、jar ファイルをD:\Hadoop-Environment\hadoop-0.20.2\contribからEclipse の../pluginsフォルダーにコピーしました。しかし、Eclipse で MapReduce のペセペクティブを取得できません。解決策をお願いします。

ありがとう

Hadoop VM を Yahoo サイトからダウンロードし、VMware プレーヤーから Hadoop VM を起動しました。問題はありませんでした。Yahoo で言及されているように、Eclipse Europa (v 3.3.1) を使用し、jar ファイル (hadoop-0.18.3-eclipse-plugin) をダウンロードして、Eclipse で MapReduce プラグインをオンにしました。Hadoop で Linux VM を起動し、Eclipse で新しい DFS ロケーションを作成しました (VM の IP、Map/Reduce マスター ポート 9001、DFS ポート 9000 を入力しました。しかし、ノードで「エラー:null」というエラーが発生しました。

私が間違っていることは何ですか？また、Eclipse で Hadoop 変数を構成しているときに、Hadoop の場所を設定しているときに詳細タブに表示されません。

私は Eclipse Europe 3.3.1 と Hadoop 0.18.0 を使用しています。

プラグインのバージョンの選択を間違えましたか?

助けてくれてありがとう。

CYGWIN がインストールされた Windows で Hadoop1.2.1 をセットアップしました。sshd サービスを開始しました。また、namenode、datanode、mapreduce (ジョブトラッカー、タスクトラッカー) も開始しました。以下の URL から、namenode、datanode、mapreduce の実行状況を確認できます。

Eclipse を介して Hadoop を接続しようとすると、できます。Eclipse から Hadoop を接続することはできましたが、DFS の場所を開くときにフォルダーが表示されませんでした。（0）として表示されます（Pic #1を参照してください 。これは、利用可能なディレクトリ/ファイルがないと推測します。namenodeストレージで同じことを確認しました（Pic #2を参照）

CYGWIN ターミナル (Pic #4 を参照) を介してディレクトリを作成しようとしても、Eclipse 環境の DFS の場所でそれを見ることができませんでした。

そうは言っても、入力パスと出力パスを次のように設定して、WordCountの例で試してみました//入力ディレクトリと出力ディレクトリを指定します

EclipseからHDFSの場所でそれを実行すると、次の例外が発生しました

13/10/30 06:52:44 エラー security.UserGroupInformation: PriviledgedActionException as: 管理者 原因: org.apache.hadoop.mapred.InvalidInputException: 入力パスが存在しません: hdfs://localhost:47110/user/Administrator/Input org.apache.hadoop.mapred.InvalidInputException: 入力パスが存在しません: hdfs://localhost:47110/user/Administrator/Input

質問: CYGWIN ターミナルで作成したディレクトリとそのフォルダが表示されないのはなぜですか?
「hdfs://localhost:47110」は何を指していますか?
データノードにディレクトリが表示されないため、上記の例外が発生していますか? 入力パスは何を設定すればよいですか?

これについて私にアドバイスしてください。

前もって感謝します。

JobTracker が動的 (ノードからノードへ移動) として構成されている小さな Hadoop クラスターがあります。コマンドラインではなく、一般的な WebUI (Hadoop MapReduce Job Tracker) を介して、データ、ログ ファイル、および対話をより一般に公開したいと考えています。
Hadoop クラスター内のすべてのノードでアウトバウンド用に Web ポートを開き、すべてのノードに共通の DNS エイリアスを作成して、JobTracker ノードへの一定の参照が存在するようにすることを考えた実装です。これはベストプラクティスですか？また、エンドユーザーがアクセスできるApache Hue ( http://www.gethue.com )のようなフロントエンド アドオンのインストールにも関心があります。

JobTracker を静的にする機能があることは知っています。これにより、この問題は解決されますが、おそらく他の問題が発生する可能性がありますが、専用ノードを作成することで、Hadoop の意図した目的とクラスター化されたノードの機能の一部が排除されると確信しています。

管理者とエンドユーザーがアクセスできる一貫性のある URL を戦略的に最適に展開する方法についての洞察に感謝します。