問題タブ [wget]

だから私はrapidshareから複数のファイルをダウンロードしたい. これは私が現在持っているものです。実行してCookieを作成しました-

そして今、私は次のようなシェルスクリプトを実行しています-

欲しいものは2つ-

1. シェル スクリプトは、ファイルからダウンロードするファイルを読み取る必要があります。
2. シェル スクリプトは、一度に 2 ～ 8 個のファイルをダウンロードする必要があります。

ありがとう！

Python を使用して、ページとそれに関連するすべてのリソース (画像、スタイル シート、スクリプト ファイルなど) をダウンロードできるようにしたいと考えています。私は urllib2 に (ある程度) 精通しており、個々の URL をダウンロードする方法を知っていますが、BeautifulSoup + urllib2 でハッキングを開始する前に、"wget --page-requisites http ://www.google.com ".

具体的には、すべてのリソースを含む Web ページ全体をダウンロードするのにかかる時間に関する統計情報を収集することに関心があります。

ありがとうマーク

私はwgetを介して5つのphpスクリプトを実行しているbash-sctiptを持っています。すべてのphpファイルが呼び出されますが、最後のスクリプトで、次の警告が表示されます。

mysql_query（）：指定された引数はxyz.phpのABC行の有効なMySQL-Linkリソースではありません

本当に奇妙なのは、ブラウザを介して同じスクリプトを実行すると、警告なしにスクリプトが正常に実行されることです。

これはABC行の近くの私のコードです：

私のSQLは完全に有効です（「die」ステートメントで出力されたクエリを実行すると、完全に実行されます）、DBConnはデータベースに接続され、これを除く他のすべてのスクリプトは正常に実行されます。

この警告の原因は本当にわかりません。どんな助けでも大歓迎です。

ありがとう

バックグラウンドで実行されている wget がファイルのダウンロードを完了すると、特定の mysql クエリを実行する必要があります。例えば...

wget http://domain/file.zip

次に実行します：

更新tableセットstatus= 'ライブ' WHERE id= '1234'

どうすればこれを行うことができますか？

関連：ここを参照

私はこのコマンドを持っています：

上記のコマンドは正常に機能しますが、PHPはビデオのダウンロードが完了するのを待ってから、次のダウンロードに進みます。ただし、次の行はダウンロードをバックグラウンドに送信します。これは、前の行から達成しようとしていることです。

上記の最初の行を変更してダウンロードをバックグラウンドに送信するにはどうすればよいですか？

wget を使用して wiki の静的ミラーをダウンロードしようとしています。各記事の最新バージョンのみが必要です (完全な履歴やバージョン間の差分ではありません)。全体をダウンロードして不要なページを後で削除するのは簡単ですが、そうすると時間がかかりすぎて、サーバーに不要な負担がかかります。

次のように、明らかに必要のないページがいくつかあります。

WhoIsDoingWhat?action=diff&date=1184177979

'action=diff' を含む URL をダウンロードして再帰しないように wget に指示する方法はありますか? または、正規表現に一致する URL を除外しますか?

Web サイトから Gbs のデータをダウンロードするタスクがあります。データは .gz ファイルの形式で、各ファイルのサイズは 45 MB です。

ファイルを取得する簡単な方法は、「wget -r -np -A files url」を使用することです。これにより、再帰的な形式でデータがダウンロードされ、Web サイトがミラーリングされます。ダウンロード速度は非常に高く、4 mb/秒です。

しかし、ただ遊んでみるために、python を使用して urlparser を構築していました。

Python の urlretrieve によるダウンロードは非常に遅く、wget の 4 倍遅くなる可能性があります。ダウンロード速度は 500kb/秒です。href タグの解析には HTMLParser を使用します。

なぜこれが起こっているのかわかりません。このための設定はありますか。

ありがとう

それは何をするためのものか？Stdinからダウンロードすると読んだのですが、実際にどこで必要ですか？

結論

wgetはsome_programからStdinとしてURLを取得します。入力すると、wgetによって./directoryに出力が生成されます。

上記のコマンドは./fileからurlsを取得し、現在のディレクトリへの出力を生成します。重要な違いは、上記のコマンドへの-記号がないことです。

/ tmp /cron_test/にファイルをダウンロードする必要があります。私のwgetコードは

では、ディレクトリを指定するためのパラメータはありますか？

URL を取得するために、php では curl を、Python では httplib2 を使用します。

ただし、ページを読み込んだ後に JavaScript (AJAX) を使用してデータを取得し、後でページの特定のセクションを上書きするだけのページもあります。

では、JavaScript を処理できるコマンド ライン ユーティリティはありますか?

私が言いたいことを知るには、monster.com にアクセスして、仕事を探してみてください。

その後、Ajax がジョブのリストを取得していることがわかります。したがって、キーワード検索に基づいて求人を取得したい場合は、求人のないページが表示されます。

しかし、ブラウザ経由で動作します。