0

私が間違っているかもしれませんが、Apache Hadoop で見たすべての (?) 例は、ローカル ファイル システムに格納されたファイルを入力として受け取ります (例: org.apache.hadoop.examples.Grep)。

Hadoop ファイル システム (HDFS) にデータを読み込んで保存する方法はありますか? たとえば、「stored.xls」という名前のタブ区切りファイルを HDFS に配置しhadoop-0.19.1/bin/hadoop dfs -put ~/local.xls stored.xlsます。それを読み取るように JobConf をどのように設定すればよいですか?

ありがとう 。

4

3 に答える 3

1 
JobConf conf = new JobConf（getConf（）、...）;
..。
FileInputFormat.setInputPaths（conf、new Path（ "stored.xls"））
..。
JobClient.runJob（conf）;
..。

setInputPathsがそれを行います。

于 2009-04-24T20:21:13.543 に答える
1

Pierre さん、Hadoop のデフォルト設定は、分散モードではなくローカル モードで実行することです。hadoop-site.xml の一部の構成を変更するだけでよいでしょう。hdfs://youraddress:yourport. fs.default.name の設定を確認してください。詳細については、Michael Noll のブログのセットアップ ヘルプも参照してください。

于 2009-05-09T19:19:28.373 に答える
1

FileInputFormat.setInputPaths(conf, new Path("hdfs://hostname:port/user/me/stored.xls"));

これで十分です

于 2009-05-14T17:02:31.047 に答える