外部 API からデータをダウンロードしようとしています。すべてのリクエストのレスポンスをパイプしたいと思います。リクエスト URL を含む配列は次のようになります。
[ 'https://scihub.copernicus.eu/dhus/odata/v1/Products(\'d98b8730-846f-46d0-a816-5ae4db9f56a7\')/$value',
'https://scihub.copernicus.eu/dhus/odata/v1/Products(\'6edaeb16-3077-45d1-b3f0-fa2d5549f64a\')/$value',
'https://scihub.copernicus.eu/dhus/odata/v1/Products(\'333db2aa-c695-4753-8bd1-e64308af26e1\')/$value',
'https://scihub.copernicus.eu/dhus/odata/v1/Products(\'052cf771-6c4e-4a3a-bc15-51c95a3f37c4\')/$value' ]
request-promise
リクエスト応答をパイプすることをサポートしていないことを読みましたが、代替手段が見つかりませんでした。そのため、結果を取得しようとしている関数は次のようになります。
var fs = require('fs');
var rp = require('request-promise');
function downloadSentinel(promObj){
return new Promise((resolve,reject) => {
try {
var promises = promObj.requestURLS.map(url => rp(url,{auth:auth}).then(body => body.pipe(fs.createWriteStream('./test.zip'))
.on('finish', () => {
resolve(promObj);
})), {concurrency:2});
Promise.all(promises).then(results => {
console.log(results)
});
} catch (error) {
reject(error);
}
})
}
また、同時に 2 つの製品しかダウンロードできないため、Blubird パラメーターを使用して実現しようとしましたconcurrency
が、正しく動作しないようです。
どうすれば問題を解決できますか?
アップデート
このコードで試してみると:
var promises = promObj.requestURLS.map(url => rp(url,{auth:auth}).then(
data => new Promise((resolve,reject) => {
data.pipe(fs.createWriteStream('./data/' + promObj.Name[0] + ".zip"))
.on('finish', () => {
console.log('Finally finished');
resolve(promObj);
})
.on('error', () => {
reject(promObj);
})})),{concurrency:2});
Promise.all(promises).then(results => {
console.log(results)
});
エラーが発生しますUnhandledPromiseRejectionWarning: Unhandled promise rejection (rejection id: 2): ReferenceError: data.pipe is not a function
私は何を逃したのですか?
さらに、私のデータは 800MB の大きさであることがわかりました。これは大きすぎてエラーなしでパイプできませんか?
私は今このエラーを受け取ります:buffer.js:556
if (encoding === undefined) return buf.utf8Slice(start, end);
Error: "toString()" failed