複数のデータ ソースのデータのファイアホース ストリームを処理する運用環境があります。現在、Windows メッセージ キューにキューイングされているデータを使用して、データをリアルタイムで解析しています。特定のキューの最大数が 10000 であることをどこかで読みました。私の懸念は、ストリームの数を 10 倍に増やし、データ量を 100 倍に増やすことです。もちろん、私の処理はスケーリングできる必要があり、私はこの現在のセットアップが実行可能かどうかはわかりません。
私の現在のマシンと開発環境:
Visual Studio 2010 Sql サーバー 2008 R2 Windows 2008 RS 標準 Dell PowerEdge R-610 デュアル クアッド コア Xeon プロセッサ 4x300GB HDD 2.5 インチ Intel() Xeon(R) CPU E5649 @ 2.53 GHZ (デュアル プロセッサ) 32 GB RAM 64 ビット OS
キューあたりの最大投稿数が 10000 の場合、実際に使用できるキューの最大数はいくつですか? より多くのマシンを使用することはより実行可能でしょうか?それとも、新しいデータの流入に対応するためにマシンを変更できますか? 現在、各メッセージ/投稿を txt ファイルに非同期で書き込み、一定期間保存しているため、これも考慮する必要があります。
Imports System.Messaging
...
Dim q As MessageQueue
If MessageQueue.Exists(".\private$\TwitterQueue") Then
q = New MessageQueue(".\private$\TwitterQueue")
End If
message = q.Peek(TimeSpan.FromSeconds(20.0))
これは、Windows メッセージ キュー サービスです。他のタイプについても読む必要があります。