web-scraping - ログインの背後にあるページに OpenRefine/Google Refine を使用できますか?

Question

そうでない場合、同等の代替手段はありますか?

ドキュメントを調べましたが、この件については何も見当たりませんでしたが、これは一般的な要件であるに違いありません。

明確にするために、基本的な HTTP 認証ではなく、Web ベースのログイン フォームを意味します。

Answer 1

はい、プロキシの背後にインストールできます。たとえば、より安全な方法です。基本的な認証パスワードはクリア = 悪いため、実際の Web サーバーを前もってインストールし、その認証レイヤーと、たとえば mod_proxy を使用して OpenRefine をトンネリングすることです。スルー。

最も簡単な例を次に示します。

<VirtualHost __YOUR_IP__:80>

ProxyPass        / http://127.0.0.1:3333/
ProxyPassReverse / http://127.0.0.1:3333/

<Location />
 AuthType Digest
 AuthName "My Own Hosted Refine"
 AuthUserFile /path/to/my/password.htpasswd
 Require valid-user
</Location>

</VirtualHost>

別の方法として、IP アドレスでのみアクセスできる Amazon EC2 インスタンス (または IP によってセキュリティ グループを提供するクラウド ホスティング プロバイダー) を使用するだけです - http://docs.aws.amazon.com/gettingstarted/latest/wah- linux/getting-started-application-server.html