問題タブ [wget]

PHP スクリプトで wget を使用しており、ダウンロードしたファイルの名前を取得する必要があります。

たとえば、私が試してみると

ダウンロード ディレクトリに index.html というファイルを取得します。

編集:ページは常にグーグルであるとは限りませんが、ターゲットは画像またはスタイルシートである可能性があるため、ダウンロードされたファイルの名前を見つける必要があります.

私はこのようなものが欲しいです：

wget を php の shell_exec() で実行していますが、wget でファイル取得中に 404 エラーが発生したことをどのように理解できますか?

ありがとうございました。

wget-p オプションを 使用して、特定のドキュメントと HTML にリンクされている画像をダウンロードしようとしています。

問題は、HTML をホストしているサイトに、HTML の前に HTML 以外の情報が含まれていることです。これによりwget、ドキュメントが HTML として解釈されず、画像が検索されません。

wget最初の X 行を削除したり、画像を強制的に検索したりする方法はありますか?

URL の例:

• http://www.sec.gov/Archives/edgar/data/13239/000119312510070346/ds4.htm

コンテンツの最初の行:

コンテンツの最後の行:

編集: PHP でのソリューションは確かに受け入れられます。

非公開の Google グループのディスカッション リストをスクレイピングしたいと考えています。これは複数ページのリストであり、後でもう一度これを行う必要があるかもしれないので、スクリプトを作成するのがよいように思えます。

これは非公開グループなので、まず Google アカウントにログインする必要があります。残念ながら、wget または ruby​​ Net::HTTP を使用してログインすることはできません。驚くべきことに、クライアント ログイン インターフェースでは Google グループにアクセスできないため、すべてのコード サンプルは役に立ちません。

私の Ruby スクリプトは、投稿の最後に埋め込まれています。認証クエリへの応答は 200-OK ですが、応答ヘッダーに Cookie はなく、本文には「ブラウザの Cookie 機能がオフになっています。オンにしてください」というメッセージが含まれています。

wget と同じ出力が得られました。このメッセージの末尾にある bash スクリプトを参照してください。

これを回避する方法がわかりません。私は何かを逃していますか？何か案が？

前もって感謝します。

ジョン

ルビースクリプトは次のとおりです。

bash スクリプトは次のとおりです。

hudsonがデプロイされているのと同じマシンにシェルスクリプトがあり、それを実行すると、hudsonビルドトリガーURLでwgetが呼び出されます。同じマシンなので、http：// localhost：8080 / hudson / job / jobname / build？token=sometokenとしてアクセスします。

通常、これはプロジェクトのビルドをトリガーすることになっています。しかし、これを行うと403が禁止されます。誰かが理由を知っていますか？ブラウザを使用してこれを試しましたが、ビルドがトリガーされますが、コマンドラインからは機能しないようです。何か案は？

わかりましたので、wget を実行する必要がありますが、wget を実行する必要がある場所に「ドット」ファイルを作成することは禁止されています。だから私の質問は、「指定できる .listing 以外の名前を wget に使用させることはできますか」です。

さらなる明確化: これは、ftp フォルダーをローカルのフォルダーと同期/ミラーリングするためのものです。そのため、すべてのファイルでフォーマットを維持する必要があるため、-O オプションの使用はあまり役に立ちません。

ヘッダーなしでファイルを取得したいと思います。私は多くのことを試しました

ヘッダーのないファイルを取得するにはどうすればよいですか?

Unixを使用してダウンロードしたいサイトが ありますwget。ファイルのソースコードと内容を見ると、SUMMARYというセクションが含まれています。ただし、次のようなwgetコマンドを発行した後：

の内容downdloadedtext.txtは不完全であり、そのサイトのソースコードとは異なります。たとえば、SUMMARYセクションは含まれていません。完全なコンテンツを正しく取得する正しい方法はありますか？

そのHTMLのさまざまな値からのダウンロードを自動化したいので、これを尋ねる理由。

wgetがリダイレクトをたどらないようにするにはどうすればよいですか?

ターミナルで wget を使用してフォルダーをダウンロードしようとしています (それが重要な場合は Mac を使用しています)。ftp クライアントがうまくいかず、タイムアウトし続けるからです。長くはつながりません。そのため、wget を使用して ftp プロトコル経由でサーバーに接続し、問題のディレクトリをダウンロードできるかどうか疑問に思っていました。これについてインターネットで検索し、コマンドを書き込もうとしましたが、失敗し続けます。したがって、次のように仮定します。

ftp ユーザー名: serveradmin@mydomain.ca ftp ホスト: ftp.s12345.gridserver.com ftp パスワード: somepassword

次の方法でコマンドを記述しようとしました。

最初の方法を試すと、次のエラーが発生します。

2番目の方法を試すと、もう少し進みますが、次のエラーが発生します。

私は何が間違っているのでしょうか？