ここで質問するのが適切かどうかわかりませんが、回答を切望しています。
ここでの問題は、リクエストの数ではなく、1 つのリクエストにかかる時間です。リクエストごとに、サーバーは約 12 の異なるソースにデータを照会する必要があり、サーバーがデータを取得するのに最大 6 時間かかる場合があります (これはクライアントと直接通信するサーバーではないため、リクエストのタイムアウトはそのままにしておきます。このサーバーkafka からメッセージをフェッチし、ソースからデータの取得を開始します)。スケーラブルなソリューションを考え出すことになっています。誰でもこれで私を助けることができますか？
問題はここで終わらない:
- サーバーがデータを取得したら、spark を使用してさらに計算するために kafka にプッシュする必要があります。この部分では、ストリーミング API が使用されます。
私は、任意の Web フレームワークまたは Python のスケーリング ソリューションに対してオープンです。