Pig でダンプを発行した後、コンソールに次のメッセージが表示されます。以前、1,500 万を超えるレコードを持つ Cassandra テーブルから豚の関係にデータをロードしました。
5 ノードの Hadoop クラスターを実行していますが、すべてのノードで以下のような同じメッセージが表示されます。
情報14：16：22,225試み_201310071219_0003_M_000001_0 NAN％情報14：16：25,294 Tirise_201310071219_0003_M_000001_0 NAN％情報
誰かがこれに光を当ててもらえますか？
また、Web ブラウザーでジョブの詳細を見ると、map および reduce タスクの数が 1 に設定されていることがわかります。map および reduce タスクは、1 つのノードですべてを実行するのではなく、5 つのノードに分割されているという印象を受けました。作品？
アップデート：
提案されているように、1 つの Hadoop ノード (500 万項目) でテストを実行しましたが、Dump in Pig を発行した後も同じメッセージが表示されます...
INFO 15:55:15,448 JVM with ID: jvm_201310141552_0001_m_-2064359790 given task: attempt_201310141552_0001_m_000002_0 INFO 15:55:20,395 attempt_201310141552_0001_m_000002_0 0.0% setup INFO 15:55:20,397 Task attempt_201310141552_0001_m_000002_0 is done. 情報15：55：20,398報告された試行_201310141552_0001_M_000002_0の出力サイズは-1情報15：55：55：55：20,398 AddFreesLot：現在の無料スロット：1情報 情報15：55：21,031タスクの追加:21,035 LaunchTaskAction (registerTask): Tried_201310141552_0001_M_000000_0タスクの状態：未割り当て情報15：55：21,035起動しようとする：Tired_201310141552_0001_M_000000_0 attempt_201310141552_0001_m_000000_0 which needs 1 slots INFO 15:55:21,036 About to purge task: attempt_201310141552_0001_m_000002_0 INFO 15:55:21,037 Map ID attempt_201310141552_0001_m_000002_0 not found in cache INFO 15:55:21,050 No new JVM spawned for jobId/taskid: job_201310141552_0001/attempt_201310141552_0001_m_000000_0. 再利用を試みています: jvm_201310141552_0001_m_-2064359790 INFO 15:55:21,421 JVM ID: jvm_201310141552_0001_m_-2064359790 指定されたタスク: attempts_201310141552_0001_m_0001_m_000000: 215_0: ParNew の 865 GC: 1 つのコレクションで 216 ミリ秒、89930816 を使用。max is 3200253952 INFO 15:55:27,708 attempt_201310141552_0001_m_000000_0 NaN% INFO 15:55:30,759 attempt_201310141552_0001_m_000000_0 NaN% INFO 15:55:33,801 attempt_201310141552_0001_m_000000_0 NaN% INFO 15:55:36,860 attempt_201310141552_0001_m_000000_0 NaN% INFO 15:55:39,940 attempt_201310141552_0001_m_000000_0 NaN% INFO 15 :55:42,989 attempt_201310141552_0001_m_000000_0 NaN% INFO 15:55:46,043 attempt_201310141552_0001_m_000000_0 NaN% INFO 15:55:49,836 attempt_201310141552_0001_m_000000_0 NaN% INFO 15:55:52,874 attempt_201310141552_0001_m_000000_0 NaN% INFO 15:55:55,913 attempt_201310141552_0001_m_000000_0 NaN% INFO 15:55:58,958 attempt_201310141552_0001_m_000000_0 NaN% INFO 15:56:02,068 attempts_201310141552_0001_m_000000_0 NaN% INFO 15:56:05,
なぜこうなった？
マジドありがとう