ここで少しテスト/pocを実行しています。
毎日数百万行をデータベースにロードする必要があります。そして、それはログファイルデータではありません。リレーショナルデータベースに正確に適合する（列の）コンマ区切りの行があります。
ロード後、非常に高速な検索メカニズムを許可する必要があります。Googleによるbigtableの実装とその周りの構造を少し見て、私は当初、hbaseと統合されたハイブを使用することを考えました。クエリ機能があるため、ハイブ。読み込みは正常に機能し、RDBMSのパフォーマンスよりも優れています。ただし、そもそもRDBMSに代わるものを探す理由であったクエリのボトルネックは、ハイブでも続いています。
クエリ用にハイブをテストすることは、実際には驚くべきパフォーマンスではありません。おそらく私は代替案を探す必要があります。
他に何かありますか？hbaseの上に置くことができる他のツール/ソリューション/ライブラリはありますか？またはhbaseなしでも？（私はhbaseをRDBMSの代替として見て、distコンピューティングに移行しました）
提案をお願いします...
一般的な検索機能が必要な場合は、代わりにSolrやElasticSearchなどのソリューションを検討することをお勧めします。HBaseは、一般的な検索ではなく、必要なクエリ（キーデザイン）のデータを準備する場合にうまく機能します。また、SolrとHBaseを組み合わせたLilyを見ることができます
あなたが抱えている問題は、ハイブが本質的に遅いmapreduceプログラムとしてほとんどのクエリを実行することです。
適切なスキャンを実行する独自のプログラムを作成し、それを自分でグループ化すると、hbaseは非常に高速になります。現在私が知っている解決策はありませんが、クエリ言語が必要な場合。
データの説明とデータに対して実行するクエリの種類は非常に一般的であるため、それ以上のことを言うのは難しいです。
これは、この行数にMySQLを使用することは考えられないことではありません。あなたはいくつかのテストデータでそれを試してみて、あなたがそれで逃げることができるかどうか見るかもしれません。
solrまたはluceneタイプのソリューションを見たことがありますか？これはSQLソリューションではありませんが、クエリ言語は一部の種類の用途に対して非常に柔軟であり、非常に高速です。パフォーマンスを向上させるためにサーバーのクラスターに分散する方法、インデックスのサイズ、処理できるクエリの数、またはその両方をスケーリングする方法もあります。