問題タブ [ycsb]

ユーカリの性能を評価するにはどうすればよいでしょうか。同じことに関する統計を収集できるツールはありますか?

ありがとう

NoSQL データベース サーバーのスケーラビリティ/弾力性をテストする YCSB ベンチマークのクライアントとしての MongoDB へのあらゆる種類の参照を目にします。

https://github.com/brianfrankcooper/YCSB

ただし、テストはスケーリングと弾力性を示すために 6 ～ 10 台のサーバー マシンで実行するように設計されているため、ベンチマークにはある種のシャーディング セットアップが必要であることは明らかです。

その構成がMongoDBでどのように見えるかについて、インターネット上で参照を見つけることができません。結果を公開し、構成がどのように見えるかを公開した人を見つけることができません。

これは本当に成功したのでしょうか？Cassandra、HBase などの元の YCSB クライアントと比較した結果はどうですか。

MongoDB クライアントのコードでは、「クライアント スレッドごとに 1 つの DB インスタンスがあります」と表示されているため、特に混乱しています。スニペットを参照してください。

ただし、Brian Cooper YCSB の結果に関する論文では、ワークロードを最大 500 スレッドまで実行したと記載されています。

6.1 実験のセットアップ

ほとんどの実験では、6 台のサーバー クラスのマシン (デュアル 64 ビット クアッド コア 2.5 GHz Intel Xeon CPU、8 GB の RAM、6 ディスクの RAID-10 アレイ、およびギガビット イーサネット) を使用して各システムを実行しました。また、47 台のサーバー クラスターで PNUTS を実行し、YCSB を使用して大規模なシステムのベンチマークを実行できることを実証しました。PNUTS には、構成サーバーとルーターとして機能する 2 つの追加のマシンが必要でした。HBase には、「マスター サーバー」と呼ばれる追加のマシンが必要でした。これらのサーバーの負荷は軽く、ここで報告する結果は主に 6 台のストレージ サーバーの容量に依存します。YCSB クライアントは、別の 8 コア マシンで実行されました。クライアントは、希望する提供スループットに応じて、最大 500 のスレッドで実行されました。テストでは、クライアント マシンがボトルネックではないことがわかりました。特に、

このベンチマークのシャーディング構成がある場所を知っている人はいますか?シャード構成またはシャードが必要ない理由の詳細な説明によってバックアップできる競合に対する実際の結果はありますか?

ありがとう - ロバート

最近、Oracle 10g と MongoDB を YCSB ( https://github.com/brianfrankcooper/YCSB/wiki ) でベンチマークしました。1,000,000 データセットのスレッド数を増やそうとしたところ、Oracle のパフォーマンスは 4 スレッド後も一定でしたが、MongoDB はパフォーマンスを維持しました。 8 スレッドまではどんどん良くなり、その後は読み取りのみが良くなり、書き込みと更新 (操作/秒) は一定のままでした。

このベンチマークは、LAN 上の 2 CPU Xeon クアッド コア (合計 8​​ コア) + 8 GB RAM で実行しました。

私たちが観察したことは、シングルスレッド クライアントと比較して、マルチスレッド クライアントで MongoDB のパフォーマンスが優れていることでした。私の質問は、MongoDB はより多くの負荷でパフォーマンスが向上するのに、なぜ少ない負荷で同じことを実行できないのかということです (たとえば、ほんの数スレッド) ）複数のコアを利用して？

一部のデータにアクセスできません。YCSBを使用して、CassandraやMongoDBなどのさまざまなデータベースと通信しています。

私が実際に変更できる唯一のクラスは、いくつかの挿入と読み取りを行う「Workload」クラスです。データベースから読み取るために使用しているメソッドは、次のクラスにあります。

ハッシュマップの内容を読み取れるようにコードを変更しようとしました。db.read行を削除して、次のように置き換えました

次に、kv_hashmapから読み取ろうとしました。

ただし、 db.readはintのみを返します。DBは、私が変更したくないパブリック抽象クラスであり、その目的は、さまざまなデータベースと通信することです。

これはdb.readが呼び出すものです：

javadocから引用すると、次のようになります。

成功した場合はゼロ、エラーまたは「見つかりません」の場合はゼロ以外のエラーコード。

kv_hashmapから値を読み取る必要があります。なぜその値にアクセスできないのかわかりません。

「負荷テスト」を検索しましたが、多くの標準手順が見つかりませんでした。Netty サーバーをテストするためのワークロード ジェネレーターの経験がある人はいますか。多数の TCP/IP パケット ジェネレータを見つけました。Netty と高速メッセージ プロセッサのワークロード生成の経験がある人はいますか? http://research.yahoo.com/Web_Information_Management/YCSBのようなワークロード ジェネレーターはありますか?

Amazon XLarge インスタンス (16Gb RAM、4 コア CPU) にデプロイされた 4 ノード HBase v0.90.4-cdh3u3 クラスターがあり、8Gb ヒープ -Xmx が HRegion サーバーに割り当てられ、2Gb がデータノードに割り当てられています。HMaster\ZK\Namenode は別の XLarge インスタンスにあります。ターゲット データセットは 1 億レコードです (各レコードは 10 フィールド x 100 バイトです)。並列 100 スレッドから同時に実行されるベンチマーク。

YCSB チームが達成し、 YCSB 論文で示したものと比較して、私が得た読み取りレイテンシーと混同しています。彼らは、15 ミリ秒のレイテンシーで最大 7000 ops/秒のスループットを達成しました (10 ページ、読み取りレイテンシー チャート)。読み取り 90%、書き込み 10% のワークロードで 2000 ops/秒を超えるスループットを達成できません。自動コミットが無効になっている場合、書き込みは非常に高速ですが (応答は数ミリ秒以内)、読み取りレイテンシは平均で 70 ミリ秒未満にはなりません。

これらは、私が使用したいくつかの HBase 設定です。

• hbase.regionserver.handler.count=50
• hfile.block.cache.size=0.4
• hbase.hregion.max.filesize=1073741824
• hbase.regionserver.codecs=lzo
• hbase.hregion.memstore.mslab.enabled=true
• hfile.min.blocksize.size=16384
• hbase.hregion.memstore.block.multiplier=4
• hbase.regionserver.global.memstore.upperLimit=0.35
• hbase.zookeeper.property.maxClientCnxns=100

HBase で読み取りを高速化するには、どの設定を参照して\調整することをお勧めしますか?

YCSBを使用してCouchDBをチェックしたいのですが、CouchDBのDBレイヤーがないことがわかりました。YCSBにCouchDBのDBレイヤーがある人はいますか？

YCSB を使用して、ローカルで実行されている mongoDB のインスタンスをベンチマークしようとしています。負荷の挿入中に次の例外が発生します。

コマンドは次のとおりです。

Rhel 6.1 で実行し、すぐに使用できる ycsb 0.1.4 を使用しています。

VoltDBのベンチマークに利用できるYCSBクライアント/ドライバーの実装があることを誰かが知っていますか？または、参考文献/ブログ/記事/研究プロジェクトでさえありますか？

VoltDBベンチマークにTPCワークロードを使用できますか？

みなさん、ありがとうございました。

YCSB 0.1.4 を使用して Cassandra 1.1.6 のパフォーマンスを評価できますか?