2

PostgreSQL DB にデータがあり、それを取得して処理し、HBase DB に保存したいと考えています。Map 操作で JDBC 操作を何らかの方法で分散することは可能ですか?

4

2 に答える 2

3

はい、次の方法でそれを行うことができますDBInputFormat：

DBInputFormatを使用JDBCしてデータ ソースに接続します。JDBCは広く実装されているため、 、、および他のいくつかのデータベース システムと連携できますDBInputFormat。個々のデータベース ベンダーは、サードパーティ アプリケーション ( など) が自社のデータベースに接続できるようにするためのドライバーを提供しています。MySQLPostgreSQLJDBCHadoop

はDBInputFormat、InputFormatデータベースからデータを読み取ることができるクラスです。AnInputFormatは Hadoop のデータ ソースの形式化です。特定の方法でフォーマットされたファイル、データベースから読み取られたデータなどを意味します。DBInputFormatデータベースからテーブル全体をスキャンする簡単な方法と、SQLデータベースに対して実行された任意のクエリから読み取る手段を提供します。

リンク

于 2013-07-16T20:24:51.890 に答える