python - ウェブサイトからデータベースへの自動データ収集?

Question

Webfaction でホストされている PostgreSQL データベースを使用する Django ベースの Web サイトを持っています。私は通常、HTML テーブル内の単一の Web ページにすべてのデータを一覧表示する別の Web サイトからデータベースのデータを手動で収集します (コピーしてテキストファイルに貼り付けます)。

Python でそのデータを自動的に収集する限り、html5lib や Scrapy などを使用して、Web ページをロードし、必要な HTML テーブルを見つけ、そこからデータを抽出し、JSON にフォーマットするスクリプトを作成する必要があると思います。、次に使用します

manage.py loaddata fixturename.json

データをデータベースにロードします。私の質問は、このスクリプトを Webfaction のサーバーで 1 日 1 回自動的に実行するにはどうすればよいですか?

score 3 · Accepted Answer

cronを使用してタスクをスケジュールできます。

crontab ファイルは次のようになります。

# Minute   Hour   Day of Month       Month          Day of Week        Command    
# (0-59)  (0-23)     (1-31)    (1-12 or Jan-Dec)  (0-6 or Sun-Sat)                
    0        1          *             *               *           /usr/bin/python manage.py loaddata fixturename.json

@daily /usr/bin/python manage.py loaddata fixturename.json(または、毎晩深夜に実行するために使用できます)

Webfaction のドキュメントを参照してください: http://docs.webfaction.com/software/general.html#scheduling-tasks-with-cron