Cassandra、HBase、Mongodb、Elastic Search の実際の書き込みパフォーマンスのテスト結果を探していました。サーバーからログ データを収集したいのですが、このデータは非常に膨大です。1時間で10GB以上。
誰もが cassandra の書き込みパフォーマンスについて話していることは知っていますが、これらの製品にはさまざまな用途があります。K/V、ドキュメント指向または検索。しかし、私が今興味を持っているのは、それらのストレージ タイプではなく、書き込みパフォーマンスだけです。たとえば、1 秒あたり 50K トランザクション。
また、このデータの上で検索したいと思います。
毎秒 50K を超えるトランザクションを処理するための提案は何ですか。
Cassandra は確かにかなり高速です。
ヴォルデモートも速い。私は、他のすべてのオプションよりもそれを選択した大規模なWeb サイトを少なくとも 1 つ知っています。
しかし、実際には、50K/秒は特別なことではありません。1 台のマシンで MySQL を使用して実行しました。
ただし、データをどれだけ速く書き込めるかだけでなく、後でそのデータをどのように処理できるかにも関心を持つ必要があることに注意してください。それ以外の場合は、すべての書き込みを /dev/null にパイプするだけです。めちゃくちゃ速くなります。
また、インターネットで見つけた「ベンチマーク」は役に立ちません。特定の特性を持つデータまたは合成データを使用します。そして、これはすべての違いを生むことができます. あなた以外の誰も、あなたのデータを使ってあなたのシナリオのベンチマークを行うことはありません。
EC2 で毎秒 100 万回の書き込みを行う Netflix の Cassandra のベンチマークに興味があるかもしれません: http://techblog.netflix.com/2011/11/benchmarking-cassandra-scalability-on.html