問題タブ [wget]

新しい URL を監視し、作業中のクライアントのプロジェクトの (大規模な) ダウンロードを開始するコマンド ライン PHP コンソール スクリプトを作成しています。クライアントは現在、わずかに特殊な wget コマンドを使用してそれらを手動でダウンロードしており、理想的にはそれを維持したいと考えています。

PHP から wget を呼び出し、ダウンロードの完了または発生するエラーを監視する最善の方法は何かと考えていました。現時点では、基本的な shell_exec を使用していますが、これは運用環境には適していません。

どんな提案でも非常に役に立ちます。

前もって感謝します。

[大きなファイルの場合] Python または WGET を使用して、Web ダウンロードが正常に完了したことを確認する簡単で信頼できる方法はありますか? 別のアクションを実行する前に、ファイルが完全にダウンロードされていることを確認したいと考えています。

常にテキストを送信している URL からのすべてのデータ (テキスト) を取得しようとしています。そのため、BASHスクリプトを使用することになりました。

現時点ではwgetを使用しています（CURLでテキストをファイルに出力できませんでした）

したがって、wget はかなりうまく機能しているように見えますが、1 つのことを除けば、スクリプト wget を再起動するたびに、output.txt ファイルがクリアされ、再度入力が開始されますが、これは私が望んでいるものではありません。wgetにtxtファイルに追加するように指示する方法はありますか?

また、これはデータのライブ ストリームをキャプチャする最良の方法ですか? Python などの別の言語を使用する必要がありますか?

ウェブサイトがネットワークから外れたときに、16進数でウェブサイトを表示するためのツール/ウェブサイト/ユーティリティはありますか？

他の人のC++コードから奇妙な非印刷文字が返ってきたので、文字を識別して、どこから来ているのかを調べたいと思います。

ファイルをディスクに書き込むと、書き出された文字が乱雑になるのではないかと心配しています（これは、テキストエディタで保存する場合にのみ当てはまると思いますが、完全にはわかりません）。

過去にwget.exeというツールを使用してページをダウンロードしたことがありますが、ディスクに書き込む前にページが変更されないかどうかはまだ完全にはわかりません。

また、16進エディタ自体はどうですか？ファイル（またはファイルの表示）を変更しますか？

それで（うまくいけば）私がここで探しているものの概要をあなたに与えるでしょう。

株式ポートフォリオをスクリプトに読み込もうとしています。以下は NAB Online Trading では機能しますが、Bell Directでは機能しません。

• Export Domain Cookies Firefox アドオンをインストールする
• Firefox でオンライン ブローカーにログインする
• ドメイン Cookie をファイルに保存します (例: cookies.txt)
• wget --no-check-certificate --load-cookies=cookies.txt -O folio.htm https://...（ポートフォリオURL）

-- ブラウザのログイン セッションを再利用するというアイデア。Bell Direct で試してみるとwget、ログイン ページにリダイレクトされます。で同じ結果が得られcurlます。私は何が欠けていますか？Cookie以外にブラウザに保存されている状態はありますか? ログインページはユーザー名/パスワードのフォームであるため、ベルは「基本認証」を使用していません。ブラウザの組み込みのログインダイアログはポップアップしません。

これは何が起こるかです (Cygwin を使用した Windows XP の場合):

$ wget --server-response --no-check-certificate --load-cookies=cookies-bell.txt -O folio-bell.htm https://www.belldirect.com.au/trade/portfoliomanager/
--2009-12-14 10:52:08-- https://www.belldirect.com.au/trade/portfoliomanager/
Resolving www.belldirect.com.au... 202.164.26.80
Connecting to www.belldirect.com.au|202.164.26.80|:443... connected.
WARNING: cannot verify www.belldirect.com.au's certificate, issued by '/C=ZA/ST=Western Cape/L=Cape Town/O=Thawte Consulting cc/OU=Certification Services Division/CN=Thawte Server CA/emailAddress=server-certs@thawte.com':
Unable to locally verify the issuer's authority.
HTTP request sent, awaiting response...
HTTP/1.1 302 Found
Connection: keep-alive
Date: Sun, 13 Dec 2009 23:52:16 GMT
Server: Microsoft-IIS/6.0
X-Powered-By: ASP.NET
X-AspNet-Version: 2.0.50727
Location: /account/login.html?redirect=https://www.belldirect.com.au/trade/portfoliomanager/index.html
Cache-Control: private
Content-Type: text/html; charset=utf-8
Content-Length: 229
Location: /account/login.html?redirect=https://www.belldirect.com.au/trade/portfoliomanager/index.html [following]
...

rake デプロイ スクリプトの一部として、TeamCity から最後に成功したビルドをダウンロードしようとしています。ファイルは 8 MB の zip ファイルで、URL を使用して http を経由します。

http://buildserver/guestAuth/repository/download/bt12/.lastSuccessful/Build.7z

その URL を Firefox で開くと、約 1 ～ 2 秒で zip ファイルがダウンロードされます。基本的にインスタント。

ただし、それには時間がかかります。

1) Ruby HTTP:Net ライブラリを使用してみました。約 1 分かかり、失敗することもあります。1.8.6 ではこのライブラリはあまり高速ではなかったと読んだので、先に進むことにしました。

2) wget を試したので、進行状況を確認できます。1秒ほどで約6MBになり、ハングします。その後、1分後に突然完了します。

3）Fiddlerv2を試して、さらに出力を取得しました。約 7.9 mb になると、wget とまったく同じように実行され、約 1 分かかります。

クライアント、ネットワーク、または TeamCity の Web サーバーのいずれかになると思います。

Firefox が正常に動作することを考えると、ネットワークは健全なようです。そのため、wget を使用して、すばやく動作させるためのオプションを調査しています。

それが何であるか、またはTeamCityの既知の問題ですか?

更新されている場合は、wgetを使用して、サーバーの1つから1時間に1回ファイルを取得しています。wgetが更新されたファイルをダウンロードするときに、スクリプトで従業員に電子メールを送信したいと思います。

wgetがファイルを取得しない場合、テキストwget出力の最後のビットは次のようになります。

そのテキストを監視し、そのテキストが表示されない場合にのみメールコマンドを実行するにはどうすればよいですか？

スクリプトを使用して、WGETで認証が必要なURLのXMLデータを取得しています。

そうすることで、私のスクリプトは、アクセスされたURLごとに次の出力を生成します（有罪を保護するためにIPとホスト名が変更されました）。

WGETが、正常に接続する前にURLへのアクセスが2回失敗すると文句を言うのはなぜですか？それをシャットダウンする方法、または最初の試行で正しく接続する方法はありますか？

参考までに、WGETの呼び出しに使用している行は次のとおりです。

Webサイトのコンテンツ（HTMLページのセット）をディスクに書き出すことなくメモリに直接ダウンロードすることは可能ですか？

それぞれ24Gがインストールされているマシンのクラスターがありますが、ディスククォータによって数百MBに制限されています。wget内容をディスクに保存せずに、出力をある種のメモリ内構造にリダイレクトすることを考えていました。他のオプションは、の独自のバージョンを作成することwgetですが、パイプを使用してそれを行う簡単な方法があるかもしれません

また、このダウンロードを並行して実行するための最良の方法は何でしょうか（クラスターには> 20ノードがあります）。この場合、ファイルシステムは使用できません。