私は約 500 の Web サイトのグループを持っており、Python を使用していくつかのキー フレーズ (5 から 10 のフレーズだと思います) を検索したいと考えています。
私は2つの解決策を考えています：
Beautifulsoup を使用して、すべての URL に対して次の 2 つのことを行うスクリプトを作成します。テキスト内の各フレーズの検索、内部 URL の検索、それぞれのプロセスの繰り返しなどです。大規模な Web サイトを扱っていることを考えると、このソリューションが機能するかどうかはわかりません。
代わりに Google API を使用してください。私はその API を使用したことがないため、このアイデアに抵抗しています。また、ここの写真に関連する他の投稿でこのソリューションを見たことがありません。
どちらのソリューションが優れていますか?
（同じ量のウェブサイトに関して同様の質問を投稿しましたが、画像のスクレイピングに焦点を当てています）。