ルイージを Hadoop ジョブ パイプラインとして使用しています。サンプルとドキュメントを読みましたが、ジョブを Hadoop サーバーにプッシュする前にスクリプトをデバッグする方法が見つかりませんか?
具体的には、大量のデータ セットを処理する必要があり、実行時間が長いため、実際のデータ セットでジョブを実行するよりも、小さなテスト データ セットでジョブをテストすることを好みます。
1 に答える
1
デバッグしたいのは実際の Hadoop 統合であるため、これは私が知る限り些細なことではありません。Hadoop システムをモックまたはシミュレートする方法があるかもしれません... または、マシンに最小限の Hadoop をインストールするだけですか?
クラスター タスクについても同様のことを行います。パラメータの値を切り替えるだけで、ローカルで実行中のコマンドと HPC システム経由で実行中のコマンドを切り替えることができる便利な方法でコマンドを実行しています。興味がある場合は、このコードをここで見ることができます :
于 2015-09-01T16:16:03.990 に答える