問題タブ [wget]

それは何をするためのものか？Stdinからダウンロードすると読んだのですが、実際にどこで必要ですか？

結論

wgetはsome_programからStdinとしてURLを取得します。入力すると、wgetによって./directoryに出力が生成されます。

上記のコマンドは./fileからurlsを取得し、現在のディレクトリへの出力を生成します。重要な違いは、上記のコマンドへの-記号がないことです。

/ tmp /cron_test/にファイルをダウンロードする必要があります。私のwgetコードは

では、ディレクトリを指定するためのパラメータはありますか？

URL を取得するために、php では curl を、Python では httplib2 を使用します。

ただし、ページを読み込んだ後に JavaScript (AJAX) を使用してデータを取得し、後でページの特定のセクションを上書きするだけのページもあります。

では、JavaScript を処理できるコマンド ライン ユーティリティはありますか?

私が言いたいことを知るには、monster.com にアクセスして、仕事を探してみてください。

その後、Ajax がジョブのリストを取得していることがわかります。したがって、キーワード検索に基づいて求人を取得したい場合は、求人のないページが表示されます。

しかし、ブラウザ経由で動作します。

私はこれが簡単であることを知っています..私は何かが欠けています..私はあきらめます!!

別のプロキシサーバーを使用しました..無駄に..デフォルトページを取得しました.. /etc/wgetrc use_proxy = on

実際、私はこの設定 (http_proxy) を python の urllib2 で使用しようとしています。デフォルトページにもアクセスします..

strace - プロキシ サーバーの DNS ルックアップを行います GET http://slashdot.org/ HTTP/1.0\r\nUser-Agent: Wget/1.11.4\r\nAccept: / \r\nHost: slashdot.org\r \n\r\n

ポインタはありますか??

私のホストは、SSHおよびLinuxコマンドへの制限付きアクセスを許可しています。しかし、信じられないかもしれませんが、 Wgetを使用することはできません。

別のサーバーからファイル（.flv）をダウンロードするものが欲しいと思っていました。私が試すことができる別のコマンドはありますか？

そうでない場合は、Python、Perl、またはPHP（お気に入り）を使用してファイルをダウンロードすることができます。出来ますか？

ローカルイントラネットサイトをミラーリングしようとして、「wget」を使用して以前の質問を見つけました。匿名のサイトではうまく機能しますが、ユーザー名\パスワードを期待しているサイト（統合Windows認証を使用したIIS）に対しては使用できませんでした。

これが私が渡すものです：

wget -c --http-user ='domain \ user' --http-password = pwd http：// local / site -dv

デバッグ出力は次のとおりです（明らかにダミー値に置き換えたことに注意してください）。

404 などのエラーが発生した場合に Wget が出力ファイルを作成しないようにすることが可能です。

私が走るとき

wget -O my.html http://sdfsdfdsf.sdfds

http://sdfsdfdsf.sdfdsは存在しませんが、Wget は引き続き my.html を作成します

私は bash スクリプトを作成していますが、wget が有効なファイルを取得できない場合に確実に停止するようにしたいと考えています。

curl を使用して一連のファイルを次の形式でダウンロードしようとしています。

http://example.com/001.jpg

..

http://example.com/999.jpg

だから私はこのコマンドを使用しました：

time curl " http://example.com/[0-9][0-9][0-9].jpg " -o "#1#2#3.gif"

しかし、いくつかのファイルは存在しません。そのコマンドは私の側でファイルを作成しますが、実際にはエラーページだけが含まれます。

ダウンロードする前に、curlがリモートサーバーに存在するかどうかを確認する方法が必要です。

wget が実行できることはわかっていますが、wget の実行には約 5 倍の時間がかかるようです。wget で試してみたコマンドは次のとおりです。

time wget http://example.com/ {0..9}{0..9}{0..9}.jpg

古き良き egrep と wget が提供するフェザーがアプリケーションに必要ですが、それらを個別のプロセスとして実行することはできません。アプリケーションに組み込み関数として必要です。それを行う方法はありますか? クロスプラットフォームと C++

stockcharts.comからのチャートのダウンロードを自動化するソリューションを探しています。

次のURLをクリックすると、stockchartsは自動的に画像ファイル（sc.png）を生成します。唯一の違いは、最後の株式相場表示記号であることに注意してください。

これらのチャートを毎日コンピューターのフォルダーにダウンロードしたいと思います。

http://stockcharts.com/h-sc/ui?p=D&b=5&g=0&id=p96079191618&a=173667279&s=ELR.TO http://stockcharts.com/h-sc/ui?p=D&b=5&g=0&id = p96079191618＆a = 173667279＆s = GOOG http://stockcharts.com/h-sc/ui?p=D&b=5&g=0&id=p96079191618&a=173667279&s=AAPL http://stockcharts.com/h-sc/ui?p=D&b = 5＆g = 0＆id = p96079191618＆a = 173667279＆s = KFN

たぶんwget、curl、perlを使っていると思います。

前もって感謝します