問題タブ [wget]

私は次のようなものを計画していました：

私が抱えている問題は、URL を somefunc で変換すると URL が失われることです。そうしないと、既にそこにあるときにダウンロードされるのを避けるために、それをターゲットとして使用できません。

何か案は？

次のコマンドを使用して、Wgetを使用してcron経由でPHPスクリプトを実行しています。

スクリプトの処理には、最大5〜6分かかります。WGetはそれを待って、必要なときにすべてを提供しますか、それともタイムアウトしますか？

投稿する必要のあるドラフトニュース投稿があるかどうかを確認するために毎分実行したいphpスクリプトがあります。cPanelのcronコマンドに「wget」を使用していましたが、実行するたびにメインディレクトリに空白のファイルが作成されていることに気付きました（数日後）。それを防ぐために必要なことはありますか？

ありがとう。

サーバーに大量のファイルをダウンロードしたいと考えています。ダウンロードするさまざまなファイルのリストと、それらを配置する場所があります。これはすべて問題ではありません。wget を使用してファイルをダウンロードし、shell_exec でこれを実行します。

これはうまく機能し、サーバーはすべてのスレッドを開始し、ファイルはすぐにダウンロードされます。

問題は、ファイルがダウンロードされたときにユーザーに通知したいことです...そして、これは私の現在のやり方ではうまくいきません。では、これをどのように実装しますか？

どんな提案も役に立ちます！

PHPを使用してApacheWebサーバーで何らかの方法で「キュー」操作を実行できるようにしたいと考えています。たとえば、次のようなループを作成します。

「ダウンロード」機能は、wgetを実行し、ファイルを指定された位置にダウンロードするだけです。これは正常に機能していますが、私の問題は、この操作中、ファイルがダウンロードされるまで他に何もできないことです。言い換えれば、私がやろうとしているのは、ダウンロード機能をバックグラウンドで（別のApacheスレッドなどを使用して）実行し、サイト内を移動したり他のことを実行したりできるようにすることです。

これどうやってするの？

インストール時にWebからダウンロードする他のバイナリに依存するプロジェクトがあります。このために私が行うことは次のとおりです。

このアプローチの問題は、途中でダウンロードを中断し、次にスクリプトを呼び出すと、部分的にダウンロードされたファイルもスキップされることです（これは望ましくありません）。また、wgetで部分的にダウンロードされたファイルのダウンロードを再開したいです。 。

どのようにすればよいですか：私が考えることができる可能な解決策：

1. ファイルをdownload_tmpなどのファイルにダウンロードします。成功した場合は元のファイルに移動します。
2. SIG {'INT'}を処理して、適切なクリーンアップコードを記述します。

しかし、これらのどれも部分的なファイルのダウンロードを再開するのに役立ちませんでした、

洞察はありますか？

PHP スクリプトで wget を使用しており、ダウンロードしたファイルの名前を取得する必要があります。

たとえば、私が試してみると

ダウンロード ディレクトリに index.html というファイルを取得します。

編集:ページは常にグーグルであるとは限りませんが、ターゲットは画像またはスタイルシートである可能性があるため、ダウンロードされたファイルの名前を見つける必要があります.

私はこのようなものが欲しいです：

wget を php の shell_exec() で実行していますが、wget でファイル取得中に 404 エラーが発生したことをどのように理解できますか?

ありがとうございました。

wget-p オプションを 使用して、特定のドキュメントと HTML にリンクされている画像をダウンロードしようとしています。

問題は、HTML をホストしているサイトに、HTML の前に HTML 以外の情報が含まれていることです。これによりwget、ドキュメントが HTML として解釈されず、画像が検索されません。

wget最初の X 行を削除したり、画像を強制的に検索したりする方法はありますか?

URL の例:

• http://www.sec.gov/Archives/edgar/data/13239/000119312510070346/ds4.htm

コンテンツの最初の行:

コンテンツの最後の行:

編集: PHP でのソリューションは確かに受け入れられます。

非公開の Google グループのディスカッション リストをスクレイピングしたいと考えています。これは複数ページのリストであり、後でもう一度これを行う必要があるかもしれないので、スクリプトを作成するのがよいように思えます。

これは非公開グループなので、まず Google アカウントにログインする必要があります。残念ながら、wget または ruby​​ Net::HTTP を使用してログインすることはできません。驚くべきことに、クライアント ログイン インターフェースでは Google グループにアクセスできないため、すべてのコード サンプルは役に立ちません。

私の Ruby スクリプトは、投稿の最後に埋め込まれています。認証クエリへの応答は 200-OK ですが、応答ヘッダーに Cookie はなく、本文には「ブラウザの Cookie 機能がオフになっています。オンにしてください」というメッセージが含まれています。

wget と同じ出力が得られました。このメッセージの末尾にある bash スクリプトを参照してください。

これを回避する方法がわかりません。私は何かを逃していますか？何か案が？

前もって感謝します。

ジョン

ルビースクリプトは次のとおりです。

bash スクリプトは次のとおりです。