それに対してかなり良い保護をしていると思われるいくつかのWebサイトをスクレイピングしています. 私がそれを機能させる唯一の方法は、Selenium を使用してページをロードし、そこから何かをスクレイピングすることです。
現在、これはローカル コンピューターで動作します (ページにアクセスすると、Firefox ウィンドウが開いたり閉じたりし、HTML はスクリプトでさらに処理されます)。ただし、Web 上でスクレーパーにアクセスできるようにする必要があります。スクレーパーは、Heroku の Flask アプリに埋め込まれています。Selenium ブラウザを Heroku サーバーで動作させる方法はありますか? または、それが機能するホスティングプロバイダーはありますか?