問題タブ [chronicle]

こんにちは Chronicle v3 を見てください。コンシューマがキューのレコードを読み取り、そのレコードをダウンストリームで処理しようとして失敗した場合はどうなりますか。

そのレコードを再びキューから取得できますか? すべてを再生する必要がありますか?

Chronicle Queue を使用して一連の json ドキュメントをキューに入れ、それらを Elasticsearch にバッチ処理することを考えています :)

vertx.io で Chronicle を使用する...

頂点ごとに新しい Chronicle を作成します。つまり、スレッドごとに 1 つのインスタンス。

今、私が行う各Web http POSTリクエストに対して...各投稿は、一度に正確に1つのスレッドによって処理されます。

これはうまくいくようです。でも大丈夫？

Chronicle Map を使用して、非常に多数の KV ペア (実際には数十億) を一時的に保存/検索しています。耐久性やレプリケーションは必要ありません。また、純粋なオフヒープ メモリではなく、メモリ マップ ファイルを使用しています。平均キー長は 8 バイトです。

小規模なデータ セット (最大 2 億エントリ) の場合、1 秒あたり約 100 万エントリのスループットが得られます。つまり、エントリの作成に約 200 秒かかります。それらを作成するのに1500秒。

Mac OSX/16GB Quad Core/500GB SSD と、8 コア/64GB RAM/300GB Raid 1 (SSD ではない) を搭載した Linux を実行する Proliant G6 サーバーの両方でテストを実行しました。両方のプラットフォームで同じ動作が見られます。

それが役立つ場合、マップのセットアップは次のとおりです。

そして簡単なライターテスト:

だから私の質問は - これを改善するために私ができるチューニングはありますか? たとえば、セグメント数を変更したり、別のキータイプ (CharSequence など) を使用したりしますか?

Chronicle Map を使用して、シリアル化されたマップをネットワーク ファイル共有から読み取り、ローカルで処理したいと考えています。準備されたデータをマップから読み取る 100 台以上のマシンが必要です。何度も繰り返しますが、書き込むことはありません。1 つのプロセスでネットワーク ファイル共有上にマップを作成し、各「コンシューマー」がマップをロードして処理することはできますか。マップは、100 万個のキーと 1,000 個の値を超えることはありません。それとも、UDP / TCP レプリケーション機能を使用する必要がありますか?

本当に簡単な質問です。Chronicle Map 3X が一部の機能をエンジン製品に移行しているようです。ただし、エンジン自体は Map 2X に依存しています。どうすればそれらを一緒に使用できますか？私は何かが欠けていると思いますが、正確にはわかりません。

メッセージの書き込み/読み取りに Java Chronicle 1.9.2 を使用しようとしています。新しいバージョンが利用可能であることは知っていますが、より多くの時間を費やす前にいくつか質問があります。

クロニクルからの抜粋を読んだら、メッセージを削除する必要があります。そのため、リーダーが再び開始しても、最初には戻りません。また、メッセージは一度読んだら役に立たないので削除したいと思います。

それを行うオプションはありますか？次のコードを試していますが、リーダーを起動するたびに、すべてのメッセージが再び表示されます。また、特定の期間が経過すると自動的に削除されるように、メッセージに Time to Live を設定するオプションがあります。

ライター -

読者 -