特定のコンソール プログラムを呼び出す jar ファイルが 1 つあります。このjarファイルをPigで使用しています。私の問題は、ローカル モードでは正常に動作するが、Hadoop モードに入ると失敗することです。すべてのノードでbashrcにも変更を加えましたが、同様のエラーが常に発生します。では、この問題を解決する方法。
1 に答える
0
いくつかの試行錯誤の後、私は答えを得ました。最初に、ファイルを hdfs の tmp フォルダーにコピーします (例: hadoop fs -put YourModule /tmp/ ) 次に、pig スクリプトに次のステートメントを追加します 。SET mapred.create.symlink はい;
次に、それらのフォルダー内のファイルにアクセスしたいjarファイルで、パスを使用して実行できます： ModuleName/filename
それでおしまい。ローカルモードと同様に、hadoop でスムーズに動作します。
于 2013-08-23T12:45:04.677 に答える