現在、Hadoop のような Map/Reduce ソリューションの上に、データ ウェアハウジング/クエリ インフラストラクチャを構築することを検討しています。
しかし、すべての M/R 作業は、RDBMS 関係者が過去 20 年間に並列 SQL データベースで解決してきたことを繰り返しているだけに過ぎないと思います。並列 SQL 実装は、M/R と同様に、ノード間で読み取りと書き込みをスケーリングしますが、通常のデータベース (SQL、既存の統合ライブラリなど) の機能も既に含まれています。
問題は、これらの企業の顧客がオンラインであまり投稿していないように見えることです。それで、ここにいる誰かがそのような種類のソリューションの経験があり、洞察やリンクを教えてくれますか?
NetezzaとHadoopを使用しました。また、列データベースであるInfobrightについての予備知識があります。
Netezzaは真のデータベースであり、ACIDプロパティを実装します。これには、コストとメリットの両方があります。Netezzaは、twinfinの新しいアーキテクチャを使用して、より多くのM/Rコードをテーブルデータで実行できるようにする方向に進んでいます。以前のバージョンのアプライアンスでは、ユーザー定義の関数と集計をサポートしていました。SPU上でLinuxを実行し、Intelプロセッサを使用する新しいバージョンでは、データに近いカスタムコードを実行するための扉が開かれています。Netezzaでの私の経験は、テクノロジーと会社の両方で非常に前向きでした。
Hadoopは純粋なmap-reduceコンピューティングです。ACIDデータベースプロパティのコストは発生しません。つまり、Netezzaとはまったく異なる獣です。使用パターンによっては、Netezzaよりも優れていて確かに安い場合があります。HadoopにはHbaseとHiveがサポートされていたため、必要なクエリの利便性を低コストで実現できます。
私たちのチームの別の開発者がInfobrightを評価したので、これは中古品であり、ロードパフォーマンスが低く、一部の集計が遅いことがわかりました。Netezzaといくつかの類似点があります（たとえば、ゾーンマップはスキャン範囲を狭めるためにnetezzaで使用されます）。Infobrightは、コミュニティとサポートされているエンタープライズエディションの両方を備えたオープンソースです。
あなたの特定の問題の文脈で言うことができることはもっとたくさんあります-おそらくこのフォーラムの範囲を超えています。お役に立てれば。
クエリでどのような質問に答えようとしているか、またはデータがどのように構造化されているかを指定していません。使用するソリューションを選択する前に、おそらくこれら 2 つのことについて考える必要があります。
その通りです。主要な RDBMS ベンダーはクラスタリング ソリューションを提供しています。並列処理と高可用性の両方。彼らはしばらくの間このテクノロジーを使用しており、大量のデータを扱う企業はおそらくそれを使用しています。製品を ($$$) 購入すると、多くのドキュメントが提供され、余裕があれば (さらに $$$) セットアップを手伝ってくれます。
RDBMS はオンライン トランザクション (OLTP) に適しています。特定の行に関する質問に答える (メアリーはどこに住んでいますか?); いくつかの要約タイプの質問 (第 1 四半期にいくら売れたかなど) に答えることができます。およびリージョン?)、通常は制限に負担をかけ始めています (すべての行にアクセスする必要があるクエリは遅くなります)。
これらのタイプのクエリのために、ほとんどの企業は、データを多次元の "キューブ" に構造化するデータ ウェアハウスを持っています。(Cognos、Hyperion などを参照)。それはあなたがやろうとしていることに適しているかもしれません。
私は MapReduce の経験はありませんが、ウィキペディアのUsesセクションを読んだので、あなたがしようとしていることがこれらのカテゴリに該当する場合は、それを続けます。
急速に成長している組織に所属している場合は、Teradata を使用する必要があります。私たちは Teradata で本当に良い経験をしています。他のベンダーでは提供できないスケーラビリティを提供します。SQL とその作業スタイルに慣れると、Teradata の設計とアーキテクチャを高く評価するようになります。