問題タブ [wget]

ウェブサイトがネットワークから外れたときに、16進数でウェブサイトを表示するためのツール/ウェブサイト/ユーティリティはありますか？

他の人のC++コードから奇妙な非印刷文字が返ってきたので、文字を識別して、どこから来ているのかを調べたいと思います。

ファイルをディスクに書き込むと、書き出された文字が乱雑になるのではないかと心配しています（これは、テキストエディタで保存する場合にのみ当てはまると思いますが、完全にはわかりません）。

過去にwget.exeというツールを使用してページをダウンロードしたことがありますが、ディスクに書き込む前にページが変更されないかどうかはまだ完全にはわかりません。

また、16進エディタ自体はどうですか？ファイル（またはファイルの表示）を変更しますか？

それで（うまくいけば）私がここで探しているものの概要をあなたに与えるでしょう。

株式ポートフォリオをスクリプトに読み込もうとしています。以下は NAB Online Trading では機能しますが、Bell Directでは機能しません。

• Export Domain Cookies Firefox アドオンをインストールする
• Firefox でオンライン ブローカーにログインする
• ドメイン Cookie をファイルに保存します (例: cookies.txt)
• wget --no-check-certificate --load-cookies=cookies.txt -O folio.htm https://...（ポートフォリオURL）

-- ブラウザのログイン セッションを再利用するというアイデア。Bell Direct で試してみるとwget、ログイン ページにリダイレクトされます。で同じ結果が得られcurlます。私は何が欠けていますか？Cookie以外にブラウザに保存されている状態はありますか? ログインページはユーザー名/パスワードのフォームであるため、ベルは「基本認証」を使用していません。ブラウザの組み込みのログインダイアログはポップアップしません。

これは何が起こるかです (Cygwin を使用した Windows XP の場合):

$ wget --server-response --no-check-certificate --load-cookies=cookies-bell.txt -O folio-bell.htm https://www.belldirect.com.au/trade/portfoliomanager/
--2009-12-14 10:52:08-- https://www.belldirect.com.au/trade/portfoliomanager/
Resolving www.belldirect.com.au... 202.164.26.80
Connecting to www.belldirect.com.au|202.164.26.80|:443... connected.
WARNING: cannot verify www.belldirect.com.au's certificate, issued by '/C=ZA/ST=Western Cape/L=Cape Town/O=Thawte Consulting cc/OU=Certification Services Division/CN=Thawte Server CA/emailAddress=server-certs@thawte.com':
Unable to locally verify the issuer's authority.
HTTP request sent, awaiting response...
HTTP/1.1 302 Found
Connection: keep-alive
Date: Sun, 13 Dec 2009 23:52:16 GMT
Server: Microsoft-IIS/6.0
X-Powered-By: ASP.NET
X-AspNet-Version: 2.0.50727
Location: /account/login.html?redirect=https://www.belldirect.com.au/trade/portfoliomanager/index.html
Cache-Control: private
Content-Type: text/html; charset=utf-8
Content-Length: 229
Location: /account/login.html?redirect=https://www.belldirect.com.au/trade/portfoliomanager/index.html [following]
...

rake デプロイ スクリプトの一部として、TeamCity から最後に成功したビルドをダウンロードしようとしています。ファイルは 8 MB の zip ファイルで、URL を使用して http を経由します。

http://buildserver/guestAuth/repository/download/bt12/.lastSuccessful/Build.7z

その URL を Firefox で開くと、約 1 ～ 2 秒で zip ファイルがダウンロードされます。基本的にインスタント。

ただし、それには時間がかかります。

1) Ruby HTTP:Net ライブラリを使用してみました。約 1 分かかり、失敗することもあります。1.8.6 ではこのライブラリはあまり高速ではなかったと読んだので、先に進むことにしました。

2) wget を試したので、進行状況を確認できます。1秒ほどで約6MBになり、ハングします。その後、1分後に突然完了します。

3）Fiddlerv2を試して、さらに出力を取得しました。約 7.9 mb になると、wget とまったく同じように実行され、約 1 分かかります。

クライアント、ネットワーク、または TeamCity の Web サーバーのいずれかになると思います。

Firefox が正常に動作することを考えると、ネットワークは健全なようです。そのため、wget を使用して、すばやく動作させるためのオプションを調査しています。

それが何であるか、またはTeamCityの既知の問題ですか?

更新されている場合は、wgetを使用して、サーバーの1つから1時間に1回ファイルを取得しています。wgetが更新されたファイルをダウンロードするときに、スクリプトで従業員に電子メールを送信したいと思います。

wgetがファイルを取得しない場合、テキストwget出力の最後のビットは次のようになります。

そのテキストを監視し、そのテキストが表示されない場合にのみメールコマンドを実行するにはどうすればよいですか？

スクリプトを使用して、WGETで認証が必要なURLのXMLデータを取得しています。

そうすることで、私のスクリプトは、アクセスされたURLごとに次の出力を生成します（有罪を保護するためにIPとホスト名が変更されました）。

WGETが、正常に接続する前にURLへのアクセスが2回失敗すると文句を言うのはなぜですか？それをシャットダウンする方法、または最初の試行で正しく接続する方法はありますか？

参考までに、WGETの呼び出しに使用している行は次のとおりです。

Webサイトのコンテンツ（HTMLページのセット）をディスクに書き出すことなくメモリに直接ダウンロードすることは可能ですか？

それぞれ24Gがインストールされているマシンのクラスターがありますが、ディスククォータによって数百MBに制限されています。wget内容をディスクに保存せずに、出力をある種のメモリ内構造にリダイレクトすることを考えていました。他のオプションは、の独自のバージョンを作成することwgetですが、パイプを使用してそれを行う簡単な方法があるかもしれません

また、このダウンロードを並行して実行するための最良の方法は何でしょうか（クラスターには> 20ノードがあります）。この場合、ファイルシステムは使用できません。

私の英語でごめんなさい (私は rus)

wgetでIPカメラからMJPEGストリームを保存します

時間単位の保存を制限する必要があります (1 時間ごとに別のファイル - 2010-01-12_[XX])

それを行うにはどうすればよいですか？1) cron による起動と終了 ? 2) スクリプトで実行するには、どうすればよいですか? ...

答えてくれてありがとう

パスワードで保護されたいくつかの Web ページとサブリンクを取得したいと考えています。ユーザー名とパスワードがあり、通常のブラウザー UI からアクセスできます。しかし、後で参照できるようにこれらのページをローカル ドライブに保存したいので、WGET を使用してそれらを取得しています。

ただし、パスワードを再度要求するため、上記は機能しません。システムがパスワードを再度要求することに悩まされることなく、これを行うためのより良い方法はありますか。また、特定のページのすべてのリンクとサブリンクを取得し、それらを単一のフォルダーに保存するための最良のオプションは何ですか.

更新: アクセスしようとしている実際のページは HTTPS ゲートウェイの背後にあり、同じページの証明書が検証されていません。これを乗り越える方法はありますか？

--no-check-certificate オプションも試しましたが、機能しません。リクエストした実際のページではなく、このオプションを使用してログインページのみを取得します。

次を使用してレポートをプルダウンしようとしています。

https://user:password@domain.com/ReportServer?%2fFolder+1%2fReportName&rs:Format=CSV&rs:Command=Render

また、csv ファイルではなく、html ページをプルするだけです。何か案は？

同じ構造の約 100 個の Web ページをクロールしようとしていますが、必要な画像はインスタンスごとに異なる名前です。

イメージタグは次の場所にあります。

その結果の src url をダウンロードする必要があります。

何か案は？.txt ファイルに URL があり、Mac OS X ボックスを使用しています。