問題タブ [wget]

私が持っている特定のプロジェクトでは、サーバー側のコードは許可されていません。PHP で (インクルード、条件などを使用して) Web サイトを作成し、それをクライアントに提供できる静的な html サイトに変換するにはどうすればよいですか?

更新: wget を提案してくれたすべての人に感謝します。それが私が使ったものです。PC を使用していることを指定する必要があったので、ここから Windows バージョンを取得しました: http://gnuwin32.sourceforge.net/packages/wget.htm。

スクリプトで多くの URL をダウンロードしたいのですが、HTTP エラーにつながる URL を保存したくありません。

マニュアルページからわかる限り、そのような機能は提供されていcurlません。wget他のダウンローダーについて知っている人はいますか?

私はwgetを使用して次のような安全なサイトに接続しています：

wget -nc -i inputFile

ここで、inputeFileは次のようなURLで構成されています。

https://clientWebsite.com/TheirPageName.asp?orderValue=1.00&merchantID=36&programmeID=92&ref=foo&Ofaz=0

このページは小さなgifファイルを返します。なんらかの理由で、これには約2.5分かかります。同じURLをブラウザに貼り付けると、数秒以内に応答が返されます。

誰かがこれを引き起こしている可能性があるものを知っていますか？

ちなみに、wgetのバージョンは「GNUWget 1.9 + cvs-stable（Red Hat修正済み）」です。

HTML フレームを多用する既存の Web アプリケーションを監査しています。各フレームのすべての HTML をダウンロードしたいのですが、wgetまたは少しのスクリプトでこれを行う方法はありますか?

次のようなWgetを使用して、HTML（ファイルに含まれている）をURLにPOSTしようとしています。

HTMLが投稿されるURLは、ASP.NETを使用して実装されたWebアプリケーションのエンドポイントです。サーバーは100（続行）応答で応答し、Wgetは次に続く実際の応答を続行するのではなく、単にそのトラックで停止します。

Wgetはどういうわけか100（続行）応答を処理するように指示できますか、それともこれはツールのよく知られた制限ですか？

ノート：

• Wgetがヘッダーを送信しないことに気付いたExpect: 100-Continueので、技術的にはサーバーが100（続行）応答を発行するべきではありません。

  更新：RFC 2616（Hypertext Transfer Protocol-HTTP / 1.1）の§8.2.3に従って 、 これは可能であるように見えます：

  オリジンサーバーは、リクエストメッセージに「100-continue」期待値のExpect request-headerフィールドが含まれていない場合、100（Continue）応答を送信しないでください。また、そのようなリクエストがHTTP / 1.0（またはそれ以前）のクライアント。このルールには例外があります。RFC2068との互換性のために、サーバーは、「100-継続」期待。この例外は、宣言されていない100（続行）ステータスの待機に関連するクライアント処理の遅延を最小限に抑えることを目的としており、HTTP / 1.1要求にのみ適用され、他のHTTPバージョン値を持つ要求には適用されません。

• cURLはそのようなトランザクションに問題はありません。ヘッダーを送信Expect: 100-Continueし、実際のヘッダーに100（続行）応答を続けます。

詳細については、上記の呼び出しからのトランザクションの完全なデバッグトレースを次に示します。

いくつかの構成ファイルを保存する Web ディレクトリがあります。wget を使用してこれらのファイルをプルダウンし、現在の構造を維持したいと考えています。たとえば、リモート ディレクトリは次のようになります。

.vim は、複数のファイルとディレクトリを保持します。wget を使用して、クライアント上でそれを複製したいと考えています。これを行うための wget フラグの適切な組み合わせが見つからないようです。何か案は？

wgetの結果から行を抽出しようとしていますが、問題があります。これは私のwget呼び出しです：

出力：

私がこれを行う場合：

文字列を含む行は返されません。サイトまたはサイトマインダーが稼働しているかどうかを確認したいだけです。

community-server の Forums 部分 (例: http://forums.timesnapper.com/login.aspx?ReturnUrl=/forums/default.aspx ) にログインし、特定のページをダウンロードして正規表現 (モデレート待ちの投稿があるかどうかを確認します)。もしあれば、メールを送りたいです。

これを Linux サーバーから実行したいと考えています。

現在、ページをダウンロードする方法 (wget などを使用) は知っていますが、ログインに問題があります。

私は wget を使用して、特定の Web サイトから .jpg ファイルのみを再帰的に取得しようとしています。これは、面白いスクリーンセーバーを自分で作成するためです。それほど高い目標ではありません。

問題は、写真が Web サイトのメイン ドメイン (www.cuteoverload.com) ではなく、別の場所 (mfrost.typepad.com) でホストされていることです。

「-D」を使用して許可されたドメインを指定しようとしましたが、残念ながらかわいい jpg は来ていません。以下の行を変更してこれを機能させるにはどうすればよいですか?

ありがとう。

合計約 20 GB のデータを含む 100,000 を超えるファイルをダウンロードするための wget コマンドを含む bash ファイルがあります。

bash ファイルは次のようになります。

wget http://something.com/path/to/file.data

wget http://something.com/path/to/file2.data

wget http://something.com/path/to/file3.data

wget http://something.com/path/to/file4.data

これにはちょうど 114,770 行あります。アカウントを持っているサーバーにsshしてこれを実行するのはどれくらい信頼できますか? ssh セッションは最終的にタイムアウトになりますか? ずっとsshする必要がありますか？ローカル コンピューターがクラッシュまたはシャットダウンした場合はどうなりますか?

また、これに必要なリソースの数を知っている人はいますか? 共有サーバーでこれをやりたいと思うのはおかしいですか?

これは奇妙な質問だと思いますが、誰かアイデアがあるかどうか疑問に思っています。ありがとう！