もともとは小さなプロジェクトで、わずか 150 個のアカウントに対して、Python で小さなタスクを実行するためのセレン プログラムを作成しました。1 台のコンピュータを使用し、約 5 時間かかりました。ただし、現在は 1000 アカウントまで拡大することを検討しています。明らかな理由から、1 台のコンピューターでこれを実行したくありません。このタスクは 1 日に 1 回実行する必要があり、1 台のコンピューターでこのタスクを完了するには、明らかに約 30 ～ 35 時間かかります。複数のマシンを使用したいのですが、3 つ、4 つ、またはそれ以上に簡単に拡張できるオプションも必要です。
すべてのアカウントのデータを amazon クラウド データベースに移動したので、python プログラムから簡単に接続できます。ただし、前述したように、このプロジェクトを簡単に拡張できるようにしたいと考えています。値をハードコーディングしたくありません。つまり、1 台のコンピューターでアカウント 1 ～ 500 を実行し、もう 1 台のコンピューターで 501 ～ 1000 を実行します (さらに 500 個のアカウントと 2 台のマシンを追加するとどうなるでしょうか? 各マシンに 1500/4 を実行させたいと思います)。マスタースレーブのアプローチを考えています。各マシンのどこに、いくつかのアカウントを配列として呼び出すことができるプログラムがあります。そして、私のマシンで実行されるマスター プログラムは、24 時間に 1 回、各マシンが使用するはずのアカウントを含むコマンドを送信できます。
次に、プログラムにデータを返してもらい、各スレーブが終了すると、マスタープログラムは各スレーブから返されたデータを結合し、それに応じてテーブルを更新します。または、各スレーブがテーブルを個別に更新しますが、テーブルロックが原因でこれが可能かどうかはわかりません (誰かがこれについてコメントできれば、それも役に立ちます)
読んでくれてありがとう！
編集：これが広すぎると思われる場合は、正確な答えを探しているわけではありません. 以前にこのようなことをした人を見つけようとしているだけです。私が研究できるテクノロジーやこれを行う方法をリストするだけで、大いに役立ちます