問題タブ [tokyo-tyrant]

プロジェクトの 1 つに全文検索エンジンを作成することを考えています。Mysql、Tokyo Tyrant、インデックス作成が必要なファイル ドキュメントがあります。

現在 Sphinx を検討していますが、それを使用してすべてのドキュメントのインデックスを作成できるかどうかわかりません。

Sphinx に Mysql を使用させることが可能であることはわかっていますが、Sphinx にインデックスを作成させ、Tokyo Tyrant にクエリを実行させ、ファイル ドキュメントのインデックスを作成させる方法を検討しています。

Sphinx、Xapian、または別のものである可能性がありますが、JAVA ではなく (Lucene はリリースされていません)、PHP で使用でき、Linux で実行できるものです。

ソースとしてMysql以上を受け入れることができる検索エンジンのアイデアはありますか?

ありがとう

そこで、Pythonで使用するためのさまざまなkey：value（valueは厳密に単一の値または場合によってはオブジェクト）ストアを調べており、いくつかの有望なものを見つけました。私は評価段階にあるため、現時点では特に要件はありません。何が良いのか、何が悪いのか、これらがうまく処理できる、またはうまくいかない場合のコーナーケースなどを探しています。すでに試してみた方もいらっしゃると思いますので、調査結果や問題点をお聞かせください。 /等。Pythonを使用したさまざまなkey：valueストア。私が主に見ているのは：

memcached- http ://www.danga.com/memcached/ pythonクライアント： http： //pypi.python.org/pypi/python-memcached/1.40 http://www.tummy.com/Community/software/python- memcached /

CouchDB- http ://couchdb.apache.org/ pythonクライアント：http ：//code.google.com/p/couchdb-python/

Tokyo Tyrant- http: //1978th.net/tokyotyrant/ pythonクライアント：http ：//code.google.com/p/pytyrant/

Lightcloud- http: //opensource.plurk.com/LightCloud/ Pythonで書かれた、TokyoTyrantに基づいています

Redis- http://redis.io/ pythonクライアント：http：//pypi.python.org/pypi/txredis/0.1.1

MemcacheDB- http://memcachedb.org/

そこで、単純なカウントを使用してベンチマーク（単にキーを挿入して読み取る）を開始し、数値キーと「テキストの短い文字列」の値を生成しました。

memcached：CentOS 5.3 / python-2.4.3-24.el5_3.6、libevent 1.4.12-安定、memcached 1.4.2、デフォルト設定、1ギガメモリ、1秒あたり14,000挿入、16,000秒の読み取り。本当の最適化はありません、いいですね。

memcachedbは、1秒あたり17,000〜23,000回の挿入、1秒あたり44,000〜64,000回の読み取りを要求しています。

また、他の人がどのようにスピードを上げているのか疑問に思っています。

rufus-tokyo や他の API が Tokyo Tyrant のトランザクションをサポートしていることに気付きました。TT のドキュメント ( http://1978th.net/tokyotyrant/spex.html#clientprog )でトランザクション サポートについての言及を見つけることができませんでした。

そのトランザクション サポートはシミュレートされていますか? または、C API を使用してサーバー側のトランザクションを行う方法はありますか?

私は、非 SQL エンジンを使用するか、小規模ビジネス向けのドキュメント管理システム用の通常の SQL エンジンを使用するかを決定しています。

私はfirebird/sqlサーバーの経験があり、信頼性の良いトラックを見つけました（特にfirebirdで）。

この市場は、くだらない「サーバー」（クローン製の PC、マヨリティ）、安価なハードディスク、RAID などをめったに使用しないものでいっぱいで、電源オフが正常な場所にあるものもあれば、UPS を持っていないものもあります。 ... (外部サーバーへのオフサイト自動バックアップを含めますが、内部設定は変更しません)。(私はそのような適切なセットアップに関するエンドユーザー教育について知っていますが、それに依存するのはばかげているので、ポイントに固執してください)

設計の観点からは、スキーマのないデータベースが私のシステムに適した方法ですが、実際のソリューション (MongoDb、Tokyo Cabinet など) のいずれかが火の鳥やサービスのクラッシュ、誤動作、乱用のようなものではないか心配です。データの破損は非常にまれです。

計画は、そこにオフィスのドキュメントを保存し、中央リポジトリを提供することです。

アプリケーションに適した Tokyo Cabinet (または Tokyo Tyrant) の構成を見つけようとしていますが、正確な方法がわかりません。いくつかのパラメータの意味はわかっていますが、微調整を行いたいので、それぞれの影響を知る必要があります。東京のドキュメントは非常に優れていますが、現時点ではそうではありません。

• TCHDB -> *bool tchdbtune(TCHDB *hdb, int64_t bnum, int8_t apow, int8_t fpow, uint8_t opts);*

bnum、apowおよびを使用するにはどうすればよいfpowですか?

• TCBDB -> *bool tcbdbtune(TCBDB *bdb, int32_t lmemb, int32_t nmemb, int64_t bnum, int8_t apow, int8_t fpow, uint8_t opts);*

lmemb、nmemb、bnum、apowおよびをどのように使用しfpowますか?

• TCFDB -> *bool tcfdbtune(TCFDB *fdb, int32_t width, int64_t limsiz);*

使用方法:widthとlimsiz? 注: トピック内のすべてのタイプのデータベースを取得するためにこれを入れているだけです。これは非常に単純です。

• TCTDB -> *bool tctdbtune(TCTDB *tdb, int64_t bnum, int8_t apow, int8_t fpow, uint8_t opts);*

bnum、apowおよびを使用するにはどうすればよいfpowですか?

Tokyo Tyrant インデックスのサイズ要件について疑問に思っていました。

フィールドにインデックスがあり、フィールドのみxのレコードを挿入するとy、インデックスは大きくなりますか? また、その場合、挿入時間は長くなりますか?zx

次のように、freebsd ホストでランチングされたシチュエーションの暴君サーバーをフォローしています。

ttserver -uas -log /data/tyrant/1.log -sid 1 -thnum 8 -tout 5 /data/tyrant/data/1.tct

そして、私はpythonとpyrant-0.3.5からWindows上でこのサーバーと通信しようとしています:このように:

10,000 レコードあたり約 5 ～ 6 のパフォーマンスが非常に遅いと思います。しかし、サーバー（ttserver）のような同じマシンでこのコードを開始するとします。パフォーマンスは良好 - 10,000 レコードあたり約 0.5 秒

この問題を回避するにはどうすればよいですか?

これは可能ですか？どこにも答えが見つかりませんでした。

基本的に、私は複数のワーカー（ボックス）があり、最終的にすべてのデータを東京キャビネットのインデックス/データベースに保存する必要があるセットアップを見ています（私はmemcachedプロトコルでTokyto Tyrantを使用しています.それは問題ではありませんが、それでも）

基本的に、Tokyo Tyrant を実行している別のボックスにデータを直接プッシュしようとしましたが、しばらくすると TT が処理できなくなります。挿入は非常に遅くなり、ワーカーはデータを TT サーバーにオフロードしようとしてアイドル状態になります。(パフォーマンスを改善するためにあらゆる種類のことを試しました。RAM の増加、raid-config、ボックス上の複数の TT サーバーなど)。しかし、パフォーマンス (挿入/秒) の大幅な低下は遅かれ早かれ起こります。

現在、各ワーカーが独自のデータをローカルの Tokyo Tyrant db に保存し、後ですべてのワーカーの db をマージできるようにするオプションを検討しています (重複キーは保証されません)。

任意の助けをいただければ幸いです (TT に負荷を分散する他の方法についても感謝します)

ところで: TT の設定: #bnum=20000000#opts=l#xmsiz=162000000 bnum を予想されるアイテムの上限に設定しました: 20 ミル。

ありがとう、Geert-Jan

誰かが東京キャビネットと東京暴君に関する良いチュートリアルを参照できますか

FAL Labsには複数の東京製品と京都製品があります。

• Tokyo Cabinet と Kyoto Cabinet はどちらも軽量のデータベース ライブラリです。
• Tokyo Tyrant と Kyoto Tycoon はどちらも軽量データベース サーバーです。

東京と京都の製品の違いを誰か説明できますか?