2

Hadoop dfs には次の方法でアクセスできます

http://localhost:50075/browseDirectory.jsp?dir=%2Fuser%2Fhdone%2Ftext&namenodeInfoPort=50070

私のプログラムでは、入力を hdfs への参照に置き換える必要があります

FileInputFormat.addInputPath(conf, new Path("input"));

私の core-site.xml には hdfs://localhost:54310、URL を使用してアクセスできない値があります。

私の実際の hdfs パスは/users/hdone/text2、すべてのファイルが適切な権限で配置されている場所です。

それで、私は何のために書くのinputですか？

4

1 に答える 1

2

入力にdfsの相対パスを指定するだけで、正しく読み取られます。

たとえば、次のように入力パスを作成しています。

$ hadoop fs -mkdir my_input_directory
$ hadoop fs -put /home/user/my-test-file.csv my_input_directory/my-test-file.csv

Hadoop ジョブを実行するには、次のように実行します。

$ hadoop jar my_test_program.jar **my_input_directory** my_output_directory

args[0]Java コードでは、次のように 経由でアクセスできます。

FileInputFormat.addInputPath(conf, new Path(args[0]));
于 2013-03-04T15:35:07.517 に答える