3

CYGWIN がインストールされた Windows で Hadoop1.2.1 をセットアップしました。sshd サービスを開始しました。また、namenode、datanode、mapreduce (ジョブトラッカー、タスクトラッカー) も開始しました。以下の URL から、namenode、datanode、mapreduce の実行状況を確認できます。

Eclipse を介して Hadoop を接続しようとすると、できます。Eclipse から Hadoop を接続することはできましたが、DFS の場所を開くときにフォルダーが表示されませんでした。(0)として表示されます(Pic #1を参照してください ここに画像の説明を入力。これは、利用可能なディレクトリ/ファイルがないと推測します。namenodeストレージで同じことを確認しました(Pic #2を参照)

CYGWIN ターミナル (Pic #4 を参照) を介してディレクトリを作成しようとしても、Eclipse 環境の DFS の場所でそれを見ることができませんでした。 ここに画像の説明を入力

そうは言っても、入力パスと出力パスを次のように設定して、WordCountの例で試してみました//入力ディレクトリと出力ディレクトリを指定します

FileInputFormat.addInputPath(conf, new Path("Input")); 
FileOutputFormat.setOutputPath(conf, new Path("Output"));

EclipseからHDFSの場所でそれを実行すると、次の例外が発生しました

13/10/30 06:52:44 エラー security.UserGroupInformation: PriviledgedActionException as: 管理者 原因: org.apache.hadoop.mapred.InvalidInputException: 入力パスが存在しません: hdfs://localhost:47110/user/Administrator/Input org.apache.hadoop.mapred.InvalidInputException: 入力パスが存在しません: hdfs://localhost:47110/user/Administrator/Input

質問: CYGWIN ターミナルで作成したディレクトリとそのフォルダが表示されないのはなぜですか?
「hdfs://localhost:47110」は何を指していますか?
データノードにディレクトリが表示されないため、上記の例外が発生していますか? 入力パスは何を設定すればよいですか?

これについて私にアドバイスしてください。

前もって感謝します。

4

1 に答える 1

3

この問題は、Hadoop クラスターで Eclipse を適切に構成していないことを示しているため、最初から Hadoop クラスターのすべての設定を確認する必要があります。

あなたを助ける次のリンクを参照してください...

https://www.youtube.com/watch?v=TavehEdfNDk

また、dfsがクラスターに接続されているかどうかを確認してください。つまり、ファイルをdfsに保存できるかどうか..

于 2013-11-09T04:15:54.640 に答える