私は厄介な問題に直面しています。最新バージョンの cygwin を搭載した windows7/64 ビット マシンで PIG 0.11 を実行しています。
私は、同じユーザーのすべてのユーザー アクティビティをまとめて処理の次の行にフィードするために、userName で注文したいウェブログです。
私は commandprompt を開始しています -> cygwin.bat -> cygwin コンソールで D:/ -> pig に移動し、grunt Shall (ローカル モード) で次のスクリプトを入力します。（PIG_HOME、PIG_CLASSPATHを正しく設定したことに注意してください）。
スクリプトは次のとおりです。
USERACTIVITIES = LOAD '/D:/path/of/logs/useractivities' USING org.apache.pig.piggybank.storage.CSVExcelStorage(',') AS (datetimeUnProcessed:chararray, username:chararray, request:chararray);
USERACTIVITIES_ORDERED = ORDER USERACTIVITIES by username;
STORE USERACTIVITIES_ORDERED INTO '/D:/readyfornextinput/useractivities' USING org.apache.pig.piggybank.storage.CSVExcelStorage(',');
USERACTIVITIES_ORDERED を説明すると、スムーズに進むことがわかります。しかし、ストア/ダンプを行うと、問題が発生します。
java.lang.RuntimeException: org.apache.hadoop.mapreduce.lib.input.InvalidInputException: 入力パスが存在しません: file:/D:/pigsample_1749383998_1377684507424 と言って失敗します。
この pigsample_number ファイルを検索しようとすると、次の場所で見つけることができました: D:/tmp//mapred/local/localRunner
それがどのように起こっているのかわかりません。Windows/cygwin 関連の問題なのか、誰かが Linux でもこれを見たのかはわかりません。
参考までに、ここにスタックトレースが添付されています。
2013-08-28 15:38:28,863 [スレッド 46] 警告 org.apache.hadoop.mapred.LocalJobRunner - job_local_0004 java.lang.RuntimeException: org.apache.hadoop.mapreduce.lib.input.InvalidInputException: 入力パスはありません存在しない: file:/D:/pigsample_1749383998_1377684507424 at org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.partitioners.WeightedRangePartitioner.setConf(WeightedRangePartitioner.java:157) at org.apache.hadoop.util.ReflectionUtils.setConf( ReflectionUtils.java:62) の org.apache.hadoop.util.ReflectionUtils.newInstance(ReflectionUtils.java:117) の org.apache.hadoop.mapred.MapTask$NewOutputCollector.(MapTask.java:677) の org.apache. org.apache.hadoop の org.apache.hadoop.mapred.MapTask.run(MapTask.java:370) の hadoop.mapred.MapTask.runNewMapper(MapTask.java:756)。mapred.LocalJobRunner$Job.run(LocalJobRunner.java:214) 原因: org.apache.hadoop.mapreduce.lib.input.InvalidInputException: 入力パスが存在しません: file:/D:/pigsample_1288777582_1377684802262 at org.apache.hadoop .mapreduce.lib.input.FileInputFormat.listStatus(FileInputFormat.java:235) org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.PigFileInputFormat.listStatus(PigFileInputFormat.java:37) org.apache.hadoop.mapreduce org.apache.pig.impl.io.ReadToEndLoader.init(ReadToEndLoader.java:190) の .lib.input.FileInputFormat.getSplits(FileInputFormat.java:252) org.apache.pig.impl.io.ReadToEndLoader.( ReadToEndLoader.java:126) org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.partitioners.WeightedRangePartitioner.setConf(WeightedRangePartitioner.java:131) ... 6 つ以上
これに関するヘルプは役に立ちます。