java - MapReduce Redis からの読み取り入力

Question

MapReduce ジョブ (単語カウントなど) を実行する Java プログラムを作成したいと考えています。入力は Redis からのものです。HDFS から読み取る前に行ったように、Redis から 1 つずつ取得し、Map クラスで何らかのプロセスを実行するように Map クラスを作成するにはどうすればよいですか?

Answer 1

それを可能にする OOTB 機能はありません。しかし、 Jedisのようなものが役に立つかもしれません。Jedis は、Redis との間でデータを読み書きできる Java クライアントです。例については、これを参照してください。

Java に強く結びついていない場合は、R3も役立つかもしれません。R3 は、Redis バックエンドを使用して Python で記述されたマップ削減エンジンです。

HTH

Answer 2

明らかに、InputFormat をカスタマイズする必要があります。独自のカスタム InputFormat と RecordReader を作成する方法については、このチュートリアルをお読みください。

Answer 3

キーを HDFS に配置します。map() では、入力キーに基づいて redis からクエリを実行するだけです。