0

私はこの非常に基本的なテストを行っています (hadoop 2.7 と pig 0.14 の両方をインストールした直後)

ファイルは hdfs に存在します -

hdfs://master:50070/user/raghav/family<r 2> 32
hdfs://master:50070/user/raghav/nsedata <dir>

ただし、次を実行すると、

A = LOAD 'family';
dump A;

次のエラーメッセージが表示されます -

HadoopVersion   PigVersion  UserId  StartedAt   FinishedAt  Features
2.7.0   0.14.0  raghav  2015-05-19 21:38:35 2015-05-19 21:38:41 UNKNOWN

Failed!

Failed Jobs:
JobId   Alias   Feature Message Outputs
job_1432066972596_0002  A   MAP_ONLY    Message: Job failed!    hdfs://master:50070/tmp/temp-1977333348/tmp-1065056833,

Input(s):
Failed to read data from "hdfs://master:50070/user/raghav/family"

Output(s):
Failed to produce result in "hdfs://master:50070/tmp/temp-1977333348/tmp-1065056833"

さらに調査すると、もう少し多くのことが明らかになります.示されているように、hdfs 上のファイル (pig 内から ls コマンドを介して) と、hadoop fs コマンドを使用したシェル プロンプトからもファイルを確認できます。ただし、pig も Hive も hdfs 上のファイルを見ることができません。

また、線虫のポートをいじってみました (異なる値 8020、9000、50070 を試しました) が、動作は同じままです。線虫とデータノードのログも調べてみましたが、それ以上は見つかりませんでした...

深刻な助けが必要です!!!

いくつかの質問への回答

myhost raghav$ hdfs dfs -ls /user/raghav/family
15/05/20 08:03:47 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
-rw-r--r--   2 raghav supergroup         32 2015-05-15 01:01 /user/raghav/family
myhost raghav$ hdfs dfs -ls /user/raghav/
15/05/20 08:04:06 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Found 2 items
-rw-r--r--   2 raghav supergroup         32 2015-05-15 01:01 /user/raghav/family
drwxr-xr-x   - raghav supergroup          0 2015-05-15 00:25 /user/raghav/nsedata
myhost raghav$ hadoop fs -ls /
15/05/20 08:04:24 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Found 2 items
drwxr-xr-x   - raghav supergroup          0 2015-05-19 23:06 /tmp
drwxr-xr-x   - raghav supergroup          0 2015-05-20 07:30 /user
myhost raghav$

さらにテストすると、hive は hdfs を使用できるが、pig はまだ使用できないことが明らかになりました。ハイブに外部テーブルを作成し、サンプルファイル「ファミリー」を正常に指すことができました

create external table xfamily(name STRING, age INT)
    > ROW FORMAT DELIMITED FIELDS TERMINATED BY ','
    > STORED AS TEXTFILE
    > LOCATION '/user/raghav';
OK
Time taken: 0.023 seconds
hive> select * from xfamily;
xxxxxx - expected data shows up.
4

0 に答える 0