hadoop - hadoop mapreduce ジョブで複数のローカル フォルダーをソースとして使用する

Question

/usr/bigboss/data1、/usr/bigboss/data2 など、複数のローカル フォルダーにデータがあります。これらすべてのフォルダーを MapReduce コマンドの入力ソースとして使用し、結果を HDFS に保存したいと考えています。Hadoop Grep の例を使用してそれを行うための有効なコマンドが見つかりません。

Answer 1

The data will need to reside in HDFS for you to process it with the grep example. You can upload the folders to HDFS using the -put FsShell command:

hadoop fs -mkdir bigboss
hadoop fs -put /usr/bigboss/data* bigboss

Which will create a folder in the current user HDFS directory, and upload each of the data directories to it

Now you should be able to run the grep example over the data