問題タブ [tokyo-cabinet]

上限数万リクエスト/秒で 60,000 -> +90,000 リクエスト/秒を見たいです。

私のセットアップは次のもので構成されています。

ユーザー ---> Web アプリ --> メッセージ キュー --> パーサー --> データベース?

パーサーは現在、COPY を使用して約 18750 レコード/秒を解析/詰め込むことができるため、パーサーを追加し始めるまではその範囲に制限されていることに言及する必要があります。これは今のところ大きな懸念事項ではありません。

できるだけ多くのレコードをできるだけ早く一括アップロードする機能を必要とするシステムがあります。この同じシステム (またはアプローチ方法によって異なる場合があります) は、次のような分析タイプのクエリに応答できる必要があります。

.....別のテーブルにキーオフされているため、(ユーザーごとに) 10 ～ 15,000 回。言うまでもなく、これらの結果は今のところ 10/ページでページ分けされています。

私は以下を見てきました：（これらはすべて同じサーバー上にあると仮定します）

• mysql (reg. run of the mill rdbms) -- 15 ～ 20,000 リクエスト/秒の範囲に入ることができました。現在の状況では、これをスケールアウトしようとすると、スケールする必要があるたびに別のホスト/データベースが必要になります。これは実行できません。

• couchdb (ドキュメント指向のデータベース) -- 700 リクエスト/秒を超えませんでした。これが私たちのお尻を救うことになることを本当に望んでいました-チャンスではありません！

• vertica (列指向のデータベース) -- 1 秒あたり 60000 リクエストに達していました。クローズド ソースで、非常に高価です。これはまだオプションですが、個人的にはまったく好きではありませんでした

• tokyocabinet (ハッシュベースのデータベース) -- 現在、1 秒あたり 45,000 回の挿入と 1 秒あたり 66,000 回の選択が行われています。昨日これを書いたとき、毎秒約 5555 リクエストで動作する FFI ベースのアダプターを使用していました。これは私が今まで見たデータベースの中で群を抜いて最速です!!

• terracotta -- (vm クラスタ) 現在 jmaglev と一緒にこれを評価しています (maglev 自体が出てくるまで待ちきれません) -- これは最も遅いです!

たぶん私はこの問題に間違ったアプローチをしているだけかもしれませんが、RDBMS は非常に遅いといつも聞いていました。

試験条件::

私の開発ボックスの仕様は次のとおりです。

Mysql mysql.cnf の編集は次のとおりです。

更新::

テラコッタは私たちのアプリケーション構造にあるかもしれませんが、速度がひどく、ヒープの使用率が悪いため、すぐにデータベースを置き換えることはありません.

一方、tokyocabinet の NON-FFI ruby​​ ライブラリ (tyrant/cabinet を意味する) が超高速で、現在 1 位であることは非常に嬉しかったです。

東京キャビネットのテーブルエンジン用のPythonバインディングを探しています。Pytcを試しましたが、ハッシュとBツリーエンジンのサポートしか見つかりません。他に利用可能なバインディングはありますか？

東京キャビネットのテーブルエンジンを評価しています。100 万レコードに達すると、挿入速度が大幅に低下します。バッチ サイズは 100,000 で、トランザクション内で実行されます。xmsiz を設定しようとしましたが、まだ使用できません。東京内閣でこの問題に直面した人はいますか?

詳細

東京キャビネット - 1.4.3
Perl バインディング - 1.23
OS : Ubuntu 7.10 (Windows XP 上の VMWare Player)

SQLite と Tokyo-Cabinet を同じ API に抽象化するライブラリを見た人がいるかどうか疑問に思っていました。基本的に、SQLite でテストと開発を行い、後で TC に移行して本番環境に移行できるものを探しています。

とにかく、私が具体的に使用している言語はLuaですが、Luaにはそのようなライブラリは存在しないと確信しているので、他の言語でこれを行うライブラリも問題ありません。これに基づいてLua用に同様のものを開発できるからです。 .

クロスプラットフォームとして、必ずしもGUI指向ではなく、「ほぼすべてを網羅する」抽象化ツールキット/ライブラリとして何を提案しますか？

プロジェクトには、ある時点で、非常に最小限のWebサーバーとある種の「db」を含める必要があります（基本的にはインデックス/ btree、おそらくリレーションを持つため、rdbmsは望ましいですが、必然的にSQLが過剰になる可能性があります）

私はqt、boost、tokyoキャビネットおよび/またはsqliteについて考えていました。ほかに何か？「最適」とは何ですか？

プラットフォームのカスタマイズと全体的な実行フットプリントを最小限に抑えたい...

前もって感謝します

大規模なデータセットで Tokyo Cabinet / Tokyo Tyrant を使用して成功した人はいますか? Wikipedia データソースのサブグラフをアップロードしようとしています。約 3,000 万件のレコードに達した後、指数関数的に遅くなります。これは、HDB データベースと BDB データベースの両方で発生します。bnum を、HDB の場合に予想されるレコード数の 2 ～ 4 倍に調整しましたが、速度はわずかに向上しました。xmsiz も 1GB 程度に設定しましたが、最終的にはまだ壁にぶつかっています。

Tokyo Tyrant は基本的にメモリ内データベースのようで、xmsiz または RAM を超えると、データベースがほとんど使用できなくなります。他の誰かが以前にこの問題に遭遇したことがありますか? 解決できましたか？

TC (具体的には Tokyo Tyrant) の上にキューを実装しました。memcache 互換関数のインクリメントを使用して、キューの先頭と末尾を追跡しています。TC によって保存された整数 (64 ビット?) の制限と、保存された数値が許可された最大値になった後にインクリメント関数が呼び出されるとどうなるかを知りたいだけですか? 1からやり直しますか、それともエラーが発生しますか?

Tokyo CabinetAPIのC++ラッパーはありますか？もちろん、C++の基本的なCAPIを使用できますが、生の関数と構造をクラスに抽象化したものを使用したいと思います。

少なくとも使用したいAPIのビットについては、自分でこれを書きたくなりますが、すでに存在する場合は時間を節約できます。TCのウェブサイトをチェックしてグーグルをしましたが、何も表示されませんでした...

Tokyo Cabinet を任意の .Net 言語、できれば VB10 で使用できますか? 東京タイラントはどうですか？できれば、LUA/Ruby やその他のラッパーを経由しないでください。

簡単な方法がない場合は、使用できる他の高速な Key-Value データベースをお勧めできますか?

iPhoneでトーキョーキャビネット使ったことある人いますか？それとSQLite3の間に実際のパフォーマンスの違いがあるかどうかを知りたいです。

また、SQLite 3 には SQL の表現力がありますが、Tokyo Cabinet にはどのようなクエリ言語がありますか?

どんな入力でも大歓迎です、ありがとう。