gRPC を使用して Python で Web クローラーを構築しようとしています。クロールの機能をサーバー ファイルに含め、クライアントを使用してユーザーに URL のリストを要求し、それをサーバーに送信してスクレイピングを行います。各 URL がスクレイピングされるまでに約 25 ～ 30 秒かかります。したがって、プロセスを高速化するためにマルチプロセッシングを使用したいと考えています。つまり、N 個のコアを並行して使用して、N 個の URL から情報を抽出します。続行するにはどうすればよいですか？たとえば、私は 4 つのコアを持っています。クライアントからサーバーへの 4 つの呼び出しを 4 つの異なるコアで実装することは可能ですか? または、コアごとにサーバーとクライアントのペアを個別に作成する必要がありますか? または、チャネル ポートが異なる 4 つのサーバー インスタンスを作成し、4 つのコアで実行できますか?
私はこれらすべてに慣れていません。だから、私はこれについてあらゆる種類の助けを使うことができました.