hadoop - リレーショナル データを hdfs に保存できますか

Question

リレーショナル データベースをバックエンドとして持つアプリケーションを変換しようとしています。HDFSにもデータをリレーショナルに保存できますか?

Answer 1

保存のためだけに、HDFS には何でも保存できます。しかし、それでは意味がありません。まず第一に、Hadoop を RDBMS (ここでやろうとしている) の代わりと考えるべきではありません。両者はまったく異なる目的のために意図されています。Hadoop は、トランザクション、リレーショナル、またはリアルタイムのニーズには適していません。これは、オフライン バッチ処理のニーズを満たすためのものでした。したがって、ユースケースを適切に分析してから、決定を凍結することをお勧めします。

提案として、 Hiveを紹介したいと思います。これは、既存の Hadoop クラスターの上にウェアハウジング機能を提供します。また、ウェアハウスへの SQL のようなインターフェイスを提供するため、SQL のバックグラウンドを持っている場合は、作業がずっと楽になります。ただし、繰り返しになりますが、Hive はバッチ処理システムでもあり、リアルタイムで何かが必要な場合には適していません。

ただし、abhinav で提案されているように、 HBaseを見ることができます。これは、Hadoop クラスター上で実行できる DB であり、データへのランダムでリアルタイムの読み取り/書き込みアクセスを提供します。ただし、これは NoSQL データベースであることに注意してください。SQL の用語や規則には従いません。そのため、最初は少し異質に感じるかもしれません。RDBMS の行スタイルのストレージとは異なり、新しいストレージ スタイル (カラム型) にデータを格納する方法などの問題を考える必要があるかもしれません。それ以外の場合は、セットアップして使用するのに問題はありません。

HTH