問題タブ [node.js-stream]

ノードストリームを使用していくつかのログファイルを処理する小さなパーサーを作成しています (実際には io.js ですが、それは問題ではないと思います)。

unshiftのドキュメントの例に従って、ヘッダーを解析しています。バッファを正常に分割してヘッダーを取得できますが、呼び出すとすぐにstream.unshift、ヘッダー文字列と残りの文字列が連結されているように見えます。

この質問のサンプルコードを設定する際に、ファイルベースのストリームを見ているときにこの動作が発生することがわかりました。文字列ベースのストリームを使用すると、ファイルに文字列とまったく同じテキストが含まれていても、問題は発生しません。

空白文字をオンにしたテキスト エディターでファイルがどのように表示されるかを次に示します (比較用)。

なぜこれが起こっているのかを理解するための支援が必要です。

mongo からのストリーミング クエリがあり、それを through2 の「スパイ」書き込み可能ストリームにパイプしています。5 つのドキュメントの小さなコレクションを含む「終了」コールバックを含め、完全に機能します。ただし、344 個のドキュメントのより大きなコレクションでは、最初の 15 個のみが通過し、その後永久にハングアップし、「終了」イベントは発生しません。MCVE は次のとおりです。

2 つのファイルをストリームとして読み取るノード アプリがあります。私は結果を処理するために使用event.on('end')します。問題は、両方のイベントが「終了」をトリガーするのを待つ方法がよくわからないことです。

私が今持っているものは次のとおりです。

小さなファイルではこれは機能しますが、ファイルの 1 つが非常に大きい場合、アプリは中止されます。

require関数を使用してローカル モジュールにアクセスすることはできますが、それを介してグローバル モジュールにアクセスすることはできません。グローバルモジュールを使用するには、それをローカルにしてからrequire関数を介してインポートする必要があることをどこかで読みました。したがって、グローバル モジュールに直接アクセスできない場合、それを使用する必要はありません。

外部サーバーに接続するいくつかのノード tcp クライアントと tls クライアントがあります。

また

これらのサーバーは両方とも、未処理のエラーを断続的に発行します。

on('error ハンドラーはこれらのエラーを処理する必要があると考えましたが、明らかにそうではありません。

ドメインを使用して接続呼び出しをラップできると思いますが、それを行う前に何が起こっているのかを理解したいと思います。