問題タブ [batching]

.Net 4.6 を使用する私の WPF アプリケーションでは、新しいデータ ポイントを高速 (毎秒数百) で起動するイベントがありますが、常にではありません。このデータはチャートに表示されます。

新しいデータ ポイントごとではなく、50 ミリ秒ごとにグラフを更新したいと思います。
それを達成するために、私はBuffer(TimeSpan.FromMilliseconds(50))Rxから使用することを考えましたが、理論的にはうまく機能します。しかし、新しいデータポイントが作成されない場合、サブスクライバーも50ミリ秒ごとに呼び出されますが、これはまさに私が望んでいるものではありません。

それをテストするために、小さなサンプル アプリケーションを作成しました。

次の Fiddle を実行または使用するには、「Rx-Linq」NuGet パッケージを追加する必要があります: https://dotnetfiddle.net/TV5tD4

そこには、いくつかの「0 要素を受け取りました」と表示されますが、これは避けたいことです。を簡単にチェックできることはわかってe.Count == 0いますが、そのようなバッファを複数使用しているため、これは最適ではないようです。

要素が利用可能な場合にのみ、要素の新しいバッファリングされたブロックを作成する方法はありますか?
私は、時間ベースでイベントをバッチ処理するという私の問題を解決するための他のアプローチにもオープンです - 私はすでに TPL Dataflows を調べましBatchBlockたが、カウントベースのブロックサイズしかサポートしていないようです。

現在、Apache Derby を使用してデータをローカル データベースに保存しています。何千ものレコードを処理する可能性があるため、効率を上げるためにコミットをバッチ処理したいと考えています。

しかし、バッチ サイズが 50 で、レコードが 20 個しかない場合、データベースにコミットするにはどうすればよいでしょうか?

どうもありがとう！

使用事例

Apache Storm を使用した S3 への Kafka メッセージの永続化

ここまでの話

• 私は secor( https://github.com/pinterest/secor ) を使用してみましたが、正常に動作し、目的を果たしています。しかし、マネージャーによると、それはメンテナンスの行き過ぎかもしれません (彼らが言うように、彼は常に正しいです)。
• Apache Kafka-Apache Storm の安定したクラスターが既に配置されているため、そのインフラストラクチャを活用することを計画しています。

議題と問題点

• Kafka からのメッセージは Storm Bolt でバッチ処理され、ローカル ディスクのファイルに書き込まれます

• 特定の間隔および/またはサイズ基準の後、S3 にアップロードされます

• 障害を管理するには、ボルトがクラスタ全体にランダムに分散されるため、各ボルトが Kafka パーティションを追跡し、理想的にはタプルごとにオフセットできる必要があります。

• パーティション/オフセットは Zookeeper に永続化できますが、そもそもボルトでタプルからそれらを取得する方法は? それらを Kafka Spout からボルトで転送する以外の方法はありますか?

promise の配列を含む配列があり、各内部配列には 4k、2k、または 500 個の promise があります。

合計で約 60,000 個の promise があり、他の値でもテストできます。

を実行する必要がありPromise.all(BigArray[0])ます。

最初の内部配列が完成したら、次の配列を実行する必要がありPromise.all(BigArray[1])ます。

実行しようとすると、Promise.all(BigArray)スローされます：

私はそれを並行してではなく、一連の約束のそれぞれを実行する必要があります。これは、ノードが行っていることだと思います。新しいライブラリを使用するべきではありませんが、答えを検討したいと思います!.

編集：

コードの例を次に示します。

Batch,Batch,Batchを読みました。

バッチ処理には、主に次の 2 つの処理があります。

1 n 個の三角形を提出する

2 セットステート

では、どちらがより多くのCPU時間を消費していますか?

または、SetState 自体は実際にはまったく問題ではありません。状態が変更されたら、三角形を再度送信する必要があるという理由だけで問題になりますか?

bulk.queue のサイズが bulk.active よりもはるかに大きいため、bulk.rejected の数が多いことがわかった場合、どのような一般的なアクションを実行しますか? (クラスターを簡単にスケーリングできると仮定して)

たとえば、http://localhost:9200/_cat/thread_pool?vを使用します。

10.XX.XXX.XXX 10.XX.XXX.XXX 12 667845 208511 0 0 0 0 0 0

1. マスター ノードをスケールアウトします (同じ VM サイズでマスター マシンを追加します)。
2. マスター ノードをスケールアップします (同じ数のマシンを維持しますが、VM のサイズを増やしてメモリと CPU を増やします)。
3. データ ノードをスケールアウトする
4. データ ノードをスケールアップする
5. クライアント ノードをスケールアウトする
6. クライアント ノードをスケールアップする
7. 数を減らします。バッチあたりのドキュメントの数 (ただし、クラスターへの合計要求が増加します)

上記の倍数である可能性が非常に高く、その場合、4 -> 2 -> 6 のように順序を指定できれば理想的です。他の手順をお気軽に提案してください。