python - 5 分ごとに Web ページをダウンロードする方法は?

Question

Web ページのリストをダウンロードしたい。私はwgetがこれを行うことができることを知っています. ただし、すべての URL を 5 分ごとにダウンロードしてフォルダーに保存するのは、wget の機能を超えているようです。Java、Python、またはPerlのいずれかでタスクを実行するツールを知っている人はいますか?

前もって感謝します。

Answer 1

wgetでcronを使用したいようです

---

ただし、Pythonを使用するように設定されている場合は、次のようになります。

import time
import os

wget_command_string = "wget ..."

while true:
    os.system(wget_command_string)
    time.sleep(5*60)

Answer 2

wgetを使用するbashスクリプトを作成し、それをcrontabに入れて、5分ごとに実行します。（* / 5 * * * *）

これらすべてのWebページの履歴を保持する必要がある場合は、スクリプトの先頭に現在のUNIX時間を使用して変数を設定し、それを出力ファイル名に追加します。