database - マッパーにデータを渡す

Question

JDBC が有効になっていないデータベースがいくつかありますが、これらの DB からデータを取得できます。このデータを mapreduce プログラムのマッパーに渡したいと考えています。「mapreduce.lib.DB」パッケージにあるソース ファイルから何かを理解しようと懸命に努力しましたが、何かが足りないように感じます。データベースの出力をマッパーに渡す方法を教えてください。

Answer 1

簡単な方法の 1 つは、データを DB からファイルに一括エクスポートし、そのファイルを HDFS に置き、FileInputFormatを使用して HDFS のファイルを読み取り、処理することです。

Answer 2

そのためにはSqoopが必要だと思います。

まず、コマンドを使用してデータを rdbms から hdfs に転送する必要がありますsqoop import。

後で、入力パスをメソッドのパラメーターとして受け取る mapreduce プログラムを作成しますsetInputpath。