問題タブ [data-stream]

大量（数ギガバイト）のコンマ区切り値（CSV）ファイルを処理する必要があるプロジェクトに取り組んでいます。

私が基本的に行うことは次のとおりです。

1. 関連するすべてのファイルの読み取り方法を知っているオブジェクトを作成します
2. データに関心のあるリスナーのセットをこのオブジェクトに登録します
3. 各ファイルの各行を読み取り、データの行から作成されたオブジェクトを各リスナーにディスパッチします
4. 各リスナーは、このデータが有用/関連性があるかどうかを判断します

ソース側で代わりにフィルタリングする方がよいかどうか疑問に思っています。たとえば、各リスナーには、特定のデータをリスナーにディスパッチするかどうかを決定する述語オブジェクトが関連付けられています。この場合、プロセスは次のようになります。

1. 関連するすべてのファイルの読み取り方法を知っているオブジェクトを作成します
2. このオブジェクトにペアのセットを登録します
3. 各ファイルの各行を読み取り、関連する述語がデータに対してtrueを返した場合、データの行から作成されたオブジェクトを各リスナーにディスパッチします

正味の効果は同じです、それはフィルタリングが行われる場所の問題です。

（繰り返しますが、一度に1つのエントリを処理するこの「ストリーム」データがある唯一の理由は、ギガバイトのCSVファイルを処理しており、コレクションを作成してフィルタリングしてから処理できないためです。それ-私は行くにつれてフィルタリングする必要があります）

Node.jsを使用してサーバーからクライアントにデータをストリーミングできるかどうかを知りたいです。単一のAJAXリクエストをNode.jsに投稿し、接続を開いたままにして、データをクライアントに継続的にストリーミングしたいと思います。クライアントはこのストリームを受信し、ページを継続的に更新します。

アップデート：

この答えの更新として-私はこれを機能させることができません。response.writeを呼び出す前に、は送信されませんclose。これを実現するために使用するサンプルプログラムを設定しました。

Node.js：

HTML：

このメソッドを使用すると、を呼び出すまで何も返されませんclose()。これは可能ですか、それとも、ロード関数が入ってくるときに再度呼び出すという長いポーリングアプローチを使用する必要がありますか？

ストリーム (センサーからのデータまたはサーバーでのクリック ストリーム データ) がスライディング ウィンドウ アルゴリズムを使用して送信される状況があり、データの最後の (たとえば) 500 サンプルをメモリに格納する必要があります。次に、これらのサンプルを使用して、ヒストグラム、集計を作成し、入力データ ストリームの異常に関する情報を取得します。

このような引き戸の作り方を教えてください。

curl コマンドを使用して返すデータ ストリームを保存できるようにしたいと考えています。cat コマンドを使用して curl コマンドをパイプしようとしましたが、間違っています。現在使用しているコードは次のとおりです。

どんな助けでも大歓迎です。

Perforce は、NTFS 上の Windows 上のファイル ストリームをサポートしていますか?

生データからHTTPSイベントを取得するにはどうすればよいですか？

2 つの Java プロセスがあり、一方のプロセスから生成されたデータを入力として他方の Java プロセスに書き込む必要があります。生成されるデータ ストリームのサイズは 5GB になります。どうやってやるの。

バッファ ファイルを使用し、inputstream/outputstream をそのファイルに読み書きする必要がありますか。他に方法がないか、より効率的な方法はありませんか?

ありがとう

いいえ、「Foursquareのようにメッセージを流すにはどうすればよいですか？」という別の質問ではありません。

私が知りたいのは、彼らがどのように正しい順序と時間枠でメッセージを受け取っているかということです。

これが私の状況です。特定の日のメッセージを取得し、選択した結果セットをWebに返し、フロントエンドにあるprocがあります。コードはそれらを表示し、新しいメッセージを上にスライドさせます。ただし、これらの「新しい」ものは新しいものではなく、「新しく見える」ものの、最初はページに収まらなかったセット内のものにすぎません。さて、私が最後に到達し、セットが最終的に空になるとどうなりますか...私は別の呼び出しを正しく行いますか？

さて、この呼び出しは、はい、彼らが見なかったものだけでなく、彼らがすでに見たすべてのものも得るでしょう。

これの回避策は何ですか？

ありがとう。

既知のハッシュダイジェストからハッシュを続行できるアルゴリズムはありますか？たとえば、クライアントがファイルのチャンクをServerAにmd5アップロードし、アップロードされたコンテンツの合計を取得してから、クライアントが残りのファイルチャンクをServerBにアップロードし、md5内部の状態をServerBに転送して、ハッシュを終了できますか？

何年も前にcomp.lang.pythonで見つけたmd5に基づくクールなブラックマジックハックがありましたが、それはまたctypesはの特定のバージョンに使用されているため、さまざまなPythonインタープリターバージョンmd5.soや_md5.dll他のプログラミング言語用の移植性の高いコードではありません。さらに、このmd5モジュールは2.5以降Python標準ライブラリで非推奨になっているため、より一般的な解決策を見つける必要があります。

さらに、ハッシュの状態を16進ダイジェスト自体に格納できますか？（したがって、ダーティな内部ハックではなく、既存のハッシュダイジェストを使用してデータのストリームをハッシュし続けることができます。）

ログインし、サーバーによって生成されたメッセージを受信するユーザーにとって、能力を達成するための最良のメカニズムは何でしょうか。サーバーがユーザーに情報を送信する方法がないため、新しいメッセージを配信する場合、ユーザーブラウザーは特定の間隔でポーリングし、応答として新しいメッセージを受信する必要があります。さらに、サーバーの方法が必要です。すでにユーザーに配信されているメッセージを送信しないようにします。パブリックチャットメカニズムのようなもので接続を確立することもできますが、必要なのは、リアルタイムに近いメッセージ遅延と、約100人のユーザーを同時に処理できるため、トラフィックを最小限に抑えることです。追記：データは、ユーザーがオンラインの場合にのみ必要であり、他のユーザーが「履歴」を読み取るためにそのデータをサーバーに保存する必要はありません。

私の考えでは、これを実現する1つの方法があります。サーバーがすべてのメッセージを配置するグローバルな「メッセージボックス」です。ユーザーブラウザは常にサーバーをポーリングして、最後に受信したメッセージIDがメッセージボックスの最後のメッセージIDと等しいかどうかを確認します。

問題は、これが正しい方法であるか、またはリアルタイムデータの必要性がどこにでもあるため、そのようなタスクに別の方法があるかどうかです：センサーデータ、マルチプレイヤーゲーム、チャット、株式市場など...