Web サイトからのファイル ダウンロード アクティビティを自動化する必要があります (たとえば、yahoomail.com に似ています)。このファイルのダウンロード リンクがあるページにアクセスするには、ログインし、ページからページへジャンプして日付などのパラメータを指定し、最後にダウンロード リンクをクリックします。
私は3つのアプローチを考えています：
WatIN を使用して、WatiN コードを定期的に実行してページを走査し、ファイルをダウンロードする Windows サービスを開発します。
AutoIT の使用 (よくわからない)
単純な HTML 解析手法を使用する (ログイン後にセッションを維持するにはどうすればよいか、ログイン後にログアウトするにはどうすればよいかなど、いくつかの質問があります)。
私はscrapy.orgを使用しています。これはPythonライブラリです。実は静かでいいです。スパイダーを書くのは簡単で、その機能は非常に豊富です。ログイン後のスクレイピングサイトはパッケージで利用できます。
これは、認証後にサイトをクロールするスパイダーの例です。
class LoginSpider(BaseSpider):
domain_name = 'example.com'
start_urls = ['http://www.example.com/users/login.php']
def parse(self, response):
return [FormRequest.from_response(response,
formdata={'username': 'john', 'password': 'secret'},
callback=self.after_login)]
def after_login(self, response):
# check login succeed before going on
if "authentication failed" in response.body:
self.log("Login failed", level=log.ERROR)
return
# continue scraping with authenticated session...
私は Python に mechanize を使用し、いくつかの点で成功しました。使いやすく、HTTP 認証、フォーム処理、Cookie、自動 HTTP リダイレクト (30X) などをサポートしています。
無料ダウンロードマネージャーはクロールに最適で、 wgetを使用できます。
SeleniumRemoteControlで自動化されたSeleniumスクリプトを試してください。