問題タブ [ssh2-sftp-client]

Node.js ライブラリssh2-sftp-clientを使用してファイルを転送する必要があります。私の問題は、HTTP プロキシ経由で接続する必要があることです。ドキュメントには、SOCKS プロキシの手順があります。HTTP プロキシを使用してこれをどのように実現できるのか疑問に思っています。

MongoDB からデータを読み取って変換し、ファイルとしてリモート SFTP サーバーに配置する必要があります。DB 内のドキュメントは非常に大きいため、これをストリームとして実行しようとしています。機能するソリューションがありますが、あまり効率的ではありません。それを改善する方法についてのアイデアに感謝します。これまでの動作は次のとおりです。

1. Mongo からデータをストリームとして読み取る

2. 新しい変換ストリームを作成して、データを操作します

3. 両方のストリームをパイプしますrequire('util').promisify(stream.pipeline)

これまでのところ、すべてがうまく機能しています。

4. データを SFTP に送信します。

そして、ここに問題があります。私は Mongo と変換の間でストリームを利用していますが、ストリームはストリームとして SFTP にさらに進むことはありません。代わりに、すべてのオブジェクトが Mongo から変換ストリームに送信されるまで待機し、csvStream が Mongo データの変換を終了した後にのみ SFTP への書き込みを開始します。データ mongo -> 変換 -> sftp をすぐにストリーミングする方法のアイデアが必要です。