0

次のように実行される「cufflinks」というプログラムがあります。

cufflinks -o <output-dir>  <input-file>

このプログラムは、入力として 1 つのファイルを受け取り、"output-dir" に出力として 4 つのファイルを生成します。

マッパー クラスで Runtime.exec() を使用して、Hadoop クラスターで同じプログラムを実行しようとしています。設定しています

output-dir=/some/path/on/HDFS

HDFS で 4 つのファイルが o/p として生成されることを期待していました。ただし、これは正しくなく、HDFS の o/p ディレクトリにはこれら 4 つのファイルが含まれていません。

次に設定してみました

出力ディレクトリ=/tmp/output/

そしてそれはうまくいきました。

HDFSで動作しない理由を誰か教えてください。HDFS で動作させるにはどうすればよいですか?

ありがとう。

4

1 に答える 1

4

問題は、cufflinks プログラムが通常のファイル操作ではなく、HDFS API 内部を使用して HDFS でファイルを作成する必要があることです。

于 2012-11-07T14:59:53.437 に答える