問題タブ [node-request]

私はnodejsでアクションをスクレイピングしています。リクエストを使用してサイトに接続し、cheerioを使用してデータにアクセスし、mongodbを使用して抽出されたデータを保存しています。また、無限再帰を避けるために async.js を使用しています。

プロセスがメモリを使用し、それを解放しないため、メモリの問題が発生しました。mongodbを使用しないとメモリが安定したままになるため、問題はmongodbにあると思います。

これは私の要約されたコードです:

私が言うように、mongodb を使用せずにリクエストを使用して URL に接続するだけであれば、メモリは無限に増えません。mongodb への接続が問題だと思います。

何か案は？

問題なく Node/Express 経由で Azure Blob Storage にファイルをアップロードできますが、ファイルをダウンロードする方法の最小限のドキュメント/完全な例が見つかりました。チュートリアルページでこれを見つけましたが、運がありませんでした:

node.js/express を使用して Azure Blob Storage からファイルをダウンロードした人はいますか? Azure または別の方法 (リクエストなど) を使用しましたか。Azure からファイルを取得してフォルダーにストリーミングする方法を教えてください。

node/request モジュールを使用してイメージをダウンロードしています。node/mssql モジュールを使用して、SQL サーバーの varbinary フィールドにそのイメージを挿入する方法を見つけようとしています。これまでのところ、挿入ステートメントにキャストを入れて、本体 (バッファー) を文字列に変換しようとしましたが、すべて役に立ちませんでした。ストアドプロシージャを使用せずにこれを行う方法を見つけようとしています。

ありがとう！

私のアプリは NodeJS、Express、Request を使用しています。

API から大量のデータをダウンロードしています (すべて API の使用制限内)。約 3,000 件のリクエストがあり、それらはすべてほぼ同時に発生します。

これらのリクエスト (正常にデータを返す) が約 1,000 回行われた後 Error: read ETIMEDOUT、ほぼすべてのリクエストが表示されるようになりました。CURL端末から手動で API エンドポイントのリクエストを行うと、問題なく応答が得られます。

これは NodeJS の既知の問題ですか? おそらくエージェント/プーリングの問題ですか？それとも、これはおそらく API 側での呼び出し制限のようなものですか?

Requestを使用して API に接続し、一連のデータ (3,000 の API 要求を考えてください) をダウンロードするプログラムを Node と Express で作成しました (すべて API の使用制限内です)。

これを Docker コンテナーで実行すると、多くのgetaddrinfo ENOTFOUNDエラーが発生します。これはリソースの問題ではないかと考えています。私のリクエストは次のようなものです：

最初の数百のリクエストでは、これは常に正常に機能しますが、その後、多くのENOTFOUNDエラーまたはタイムアウトエラーが発生します。問題は、コードがこれらすべてのリクエストを処理する方法にあると思います。

リクエストが比較的ゆっくりと発生するように、タイムアウトを使用してキューにバッチ処理しました。これは少し役立ちますが、問題を完全に解決するわけではありません。

メモリなどを解放するために body/response オブジェクトを破棄する必要がありますか?

次のコードがあり、それぞれの計算された CSS を使用して HTML 全体をダウンロードし、JSON に変換したいと考えています。リクエストモジュールを試しています。

本文には html のみが含まれますか、それともすべてが含まれますか? そして、必要なcssを取得するにはどうすればよいですか。

で次のことを達成するためのネストの少ない方法はありますかrequest-promise:

各リクエストは最後の結果に依存するため、連続している必要があります。ただし、私のロジックの中には、最大 5 つの連続した要求を必要とするものもあり、ネストされた悪夢を引き起こします。

私はこれについて間違っていますか？

私はnodejsを使用してベアラートークンを取得しています。コードは次のようになります

APIからの予想される戻り値は私のベアラートークンであり、郵便配達アプリでそうしますが、ここでエラーが発生します{"errors":[{"code":170,"message":"Missing required parameter: grant_type","label":"forbidden_missing_parameter"}]}

APIサーバーが付与タイプを読み取れない理由を誰かが知っていますか