各項目に対して順番に HTTP GET 要求を実行して、多数の項目を反復処理する必要があるプログラムを作成しています。HTTP GET リクエストは、サードパーティ API によって 1 分あたり最大 5 リクエストにレート制限されています。ボトルネックを使用して、この API へのリクエストを制限しようとしていますが、ほとんど成功していません。
私の問題の最小限の例は次のとおりです。
// index.ts
import * as API from "./lib/API";
(async () => {
try {
//Gather all requests
const list_of_requests = await API.Requests.get_list_of_all_requests(...);
// Fire off each request at the appropriate rate
list_of_requests.forEach(async (request) => {
try {
const request_result = await API.ResultGetter.get_result(...);
} catch (error) {
console.log(error.message);
}
});
} catch (error) {
console.log(error.name + ": " + error.message);
}
})();
私の中で./lib/API
:
// API.ts
import { AxiosRequestConfig } from "axios";
import { scheduleRequest } from "../util/Limiter";
export async function ResultGetter(...) {
const requestURL: string = "https://www.website.ext/...";
const requestConfig: AxiosRequestConfig = {
url: requestURL,
method: "GET",
responseType: "json",
};
return await scheduleRequest(requestConfig);
}
そして最後に、私の中でutil/Limiter
// Limiter.ts
import Bottleneck from "bottleneck";
import axios, { AxiosRequestConfig, AxiosResponse } from "axios";
/*
5 API requests per minute; 500 API requests per day
*/
export const limiter = new Bottleneck({
reservoir: 500,
reservoirRefreshAmount: 500,
reservoirRefreshInterval: 24 * 60 * 60 * 1000,
maxConcurrent: 1,
mintime: Math.ceil(1 / (5 / 60 / 1000)),
});
export async function scheduleRequest(
request: AxiosRequestConfig
): Promise<AxiosResponse<any>> {
return limiter.schedule(() => axios(request));
}
ただし、実際にこのプログラムを使用すると、リクエストは可能な限り最速で発生します。この場合、何が欠けているのか本当にわかりません。私の理解でlimiter.schedule(...)
は、設定されたレート制限によって制限された、リクエストが発生したときに解決する約束を返す必要があります。しかし、それはここで起こっていることではありません。