mapreduce - 「NULL キーを使用して .dfs 引数を keyval に変換しています」は通常、RHadoop で失敗したマップ タスクの致命的な警告ですか?

Question

次のような警告を返しても機能する RHadoop プログラムをいくつか作成しました。

Converting to.dfs argument to keyval with a NULL key

to.dfsでデータを入力するとき。

ただし、一部のプログラムは、警告以外の警告なしで致命的に失敗します。

Converting to.dfs argument to keyval with a NULL key

に続く

ERROR streaming.StreamJob: Job not successful. Error: # of failed Map Tasks exceeded allowed limit. FailedCount: 1.

NULL キーの警告は通常、Map タスクの失敗に関連付けられていますか?

標準的なアドバイスは stderr を確認することですが、失敗したジョブの stderr は空です! ゼロ行、ゼロ文字。

Answer 1

私の知る限り、

NULL キーを使用して .dfs 引数を keyval に変換する

通常の警告であり、ジョブが失敗することはありません。

from.dfs コマンドを使用して to.dfs コマンドで保存されたデータをフェッチして、それが機能するかどうかを確認しましたか? もしそうなら、問題はおそらくどこかにあるでしょう。