mysql - Flume を使用して mysql からデータを読み取るには?

Question

Flume を使用して mysql から継続的に読み取り、hbase にロードする方法は?

私は sqoop に精通していますが、mysql ソースから継続的に実行する必要があります。これを行うにはカスタム ソースが必要ですか?

Answer 1

これを行うにはいくつかの方法がありますが、MySQL からデータを取得し、それぞれに対してAvroイベントを生成するスクリプトを作成します。

その後、組み込みの Avro ソースを使用してこのデータを受信し、HDFS シンクに送信できます。