python - Web リクエストでオフライン分析を処理するアプリケーション フレームワークの選択

Question

現在、ユーザーが以前に入力したデータの分析をトリガーするように要求する Web ベースのアプリを設計しようとしています。バックグラウンド分析は、Web サーバーと同じマシン上で実行することも、リモート マシン上で実行することもできます。バックグラウンド分析の実行中に他のユーザーも分析要求を行うことができるように、Web サイトのパフォーマンスを大幅に妨げないようにする必要があります。リクエストは何らかの形式のキュー システムに送られ、分析が完了すると結果が返され、ユーザーが自分のアカウントで表示できるようになります。

このプロジェクトを処理するための最も効率的なフレームワークを教えてください。私は現在 Linux で作業しており、分析ソフトウェアは Python で書かれており、以前は Django を使用して動的サイトを設計していました。これと互換性のあるものはありますか？

Answer 1

あなたのバックグラウンドと分析コードがすでに Python で書かれていることを考えると、Django + Celery はここでは明らかな候補のようです。現在、このソリューションは、1 つのフロントエンド django サーバー、1 つの専用データベース サーバー、およびバックグラウンド処理用の 2 つの個別のセロリ サーバーを備えた非常に処理量の多いアプリに使用しています。セロリ プロセスを個別のサーバーに配置することで、セロリ サーバーの負荷に関係なく、djangon フロントの応答性が維持されます (必要に応じて、新しいセロリ サーバーを追加することもできます)。

まあ、それが「最も効率的な」ソリューションかどうかはわかりませんが、うまくいきます。