問題タブ [rocksdb]

Rocksdbを使用して std::string 型ではないキーと値のペアを格納する C++ プログラムを作成したいと考えています。たとえば、intデータ型をキーとして使用し、次のデータ型の値を値として使用したいとします。

どうすればこれを達成できるか、または私が試すことができる他の選択肢をいくつかお勧めしますか?

事前にご協力いただきありがとうございます。

データをトレースできるシステムを含むユースケースがあります。システムが各リクエストをインターセプトし、そのリクエストが既に存在するかどうかを確認して、ボディでマップ/リデュースを実行する必要がある場合を説明します。リアルタイムであると思われます。私が取り組んでいるシステムの機密性のために、これ以上詳しく説明できないことをお詫びします。

主に NoSql キー/バリュー ストアに注目しているので、Rocksdb/Riak を考えています。私の質問は、このユースケースに適しているか、それともより良い代替手段があるかということです.

私の理解では、Percona Server for MongoDB (最新バージョン) はすでに rocksdb エンジンでコンパイルされています。しかし、それを使用するようにフラグを設定すると、サービスの開始に失敗します。コード 100 (キャッチされない例外) で終了し、ジャーナル出力はありません。誰がこれを引き起こしているのか考えていますか? 前もって感謝します。

LevelDB をストレージ エンジンとして使用し、memcached をキャッシュ レイヤーとして使用する分散ストレージ プロジェクトには、1 つのシナリオがあります。キーを使用するクエリの 95% がストレージ エンジンに存在しません。

memcached レイヤーで、キーが見つからない場合は、LevelDB にクエリを実行します。

LevelDB では、デフォルトのブルーム フィルターを使用してキーが存在するかどうかを判断しますが、それでも誤検知率は 1% です。パーセンテージが 1% であるため、クライアントが許容できない IO を介して値を要求する必要があります。(95% のキーが存在しません)

キーが存在しないかどうかを知るためのより良い解決策はありますか?

更新: 1. キーは毎日生成されます (ユーザー ID + 日付)。一度キーを取得できないと、クライアントは値をストレージ レイヤーに入れます。2. クライアントは読み取り遅延 (TP99) < x ms (クライアントは遅延の影響を受けやすい) を望んでいます

「--storageEngine=rocksdb」で mongod サービスを開始しようとしましたが、「認識されないオプション」というエラーが発生しました
。help コマンドを実行してすべてのオプション変数を表示しようとしましたが、mongod の「--storageEngine」オプションが表示されませんでした。
以下は、mongod で確認できるすべてのオプション変数です。

「--storageEngine」オプション変数の使い方を教えてください。

私は iOS で RocksDB を使用しており、redux-persistと共に AsyncStorage アダプターを使用しています。アプリを起動するたびに、次のエラーが表示されます。

アダプターとして機能するクラスは次のとおりです。

どんな助けでも大歓迎です。

私がRocksDBを使いたいと思う方法は珍しいです。メモリ内に非常に多くの文字列を持つアプリケーションのメモリ負荷を下げるために使用したいと考えています。その理由は、アプリケーションが最終的に、そうでなければすべての文字列を格納するために数十ギガの RAM が必要になるところまでスケーリングするためです。これは、一部が C++ で記述され、一部が VB.NET で記述された 64 ビット専用アプリケーションです (わかっています。わかっています)。

私はすべての文字列をディスクに移動する任務を負っています。

出来る限りのパフォーマンスを発揮したい。確かに SQLite のようなものを使用できますが、SQL はまったく必要ありません。キー/値ストアが必要なだけです。キーは 32 ビットの int にすることができ、値は文字列になります。典型的な文字列の長さは 1K から 5K です。

必要なパフォーマンス特性は次のとおりです。

1. 文字列が一括してディスクに書き込まれています。書かれた後、それらが変更されることはめったにありません。ほとんどの場合、それらは単に読み取り専用になります。
2. 文字列は、RAM から移動する方法としてのみディスクに書き込まれています。パフォーマンスのために、すべての文字列を同時に RAM に保持すると、その人は敗北します。理想的には、キャッシュとして使用する RAM の量を指定できます。
3. 耐久性は重要ではありません。書き込みキャッシュに時間がかかるかどうかは気にしません。実際、上記の (2) で指定されたバッファー サイズを超えた場合にのみ、文字列がディスクに書き込まれることだけを気にします。たとえば、ディスク上に 10 億個の文字列があり、そのうちの 1,000 個を RAM に保持している場合 (バッファー サイズとして)、1,000 個の文字列がディスクに書き込まれるまで、1,000 個の文字列がディスクに書き込まれなくても問題ありません。割り当てられます。

これまで見てきたほとんどすべてのシステム、memcached、redis、leveldb、lightning、sqlite 4 の LSM はすべて、さまざまな問題を解決します。耐久性のために物事が永続化されるようにするという問題を解決するものもあります。明らかに私の場合、クラッシュプルーフであることは気にしません。私のアプリケーションは、アプリの起動時にデータ ストアを再作成します。アプリがクラッシュしても、ディスクに残っている内容は気にしません。さらに他のもの (memecached など) は、最初に RAM に配置することでディスクのパフォーマンスを最適化します。それは、私が解決しなければならない問題とはほとんど反対の問題を解決することです。

最終的には、これは 64 ビット システムであるため、最適化のためにメモリ マップ ファイルをシステムに使用してもらいたいと考えています。

RocksDB は、私が使用する必要があると思うツールに最も近いものですが、非常に紛らわしく複雑なシステムであり、100 万の設定があります。さらに、私の特定のシナリオは、投稿された「レシピ」のいずれにも含まれていません。

ですから、RocksDB チームの誰かが喜んで私にガイダンスを提供してくれるかどうか知りたいです。これを機能させることができれば、私は非常に感謝しており、オンラインで他の人が同じタイプの問題を解決するのに役立つでしょう.

commonsearch をセットアップしようとしていますが、バックエンドが alexa1m データを rocksdb にインポートするところですが、エラー (以下のエラー) で終了します。

2日間進歩なしでこれと戦っています..誰かが何らかの洞察やアドバイスをくれたら、私はとても幸せです!

ガイドに従って、次のことを行いました。

そして私はここで立ち往生しました。を使用するにはどうすればよいrocksdbですか?

このサンプル ファイルの内容をコピーして、Mac OS でgcc-5(brew) と(clang)の両方を使用してコンパイルしようとしましたが、どちらもエラーを返します。gccMac OS 10.11.5 で Xcode 7.3.1 を使用しています。

エラーは次のとおりです。

アップデート：

次のように、rocksdb ライブラリを Xcode のヘッダーとライブラリ検索パスに追加した後:

私はrocksdbのウェブサイトで試しました

別の問題に遭遇しました：