問題タブ [wget]

コマンドラインで -q (quiet) を指定した場合でも、wget は常にシステム値をコンソールにエコーします。

どうすればノイズを止めることができますか?

wget を使用して Eclipse の ShellEd 拡張機能を自動的にダウンロードしていますが、次のエラーが表示されます。

これまで何度か使って成功しているので、SourceForgeがミラーを使っているからだと思います。リファラーと http_proxy に焦点を当ててwgetのマニュアル ページを調べましたが、まだ成功していません。これが私のスクリプトです：

ありがとう！

CURL がフェッチするデータの量を制限する方法はありますか? 50kb のページからデータをスクリーン スクレイピングしていますが、必要なデータはページの上部 1/4 にあるため、実際にはページの最初の 10kb のみを取得する必要があります。

監視する必要があるデータが大量にあり、その結果、この帯域幅の約 5 GB しか関連しない場合、1 か月あたり 60 GB 近くのデータを転送することになるため、質問しています。

PHP を使用してデータを処理していますが、データ取得のアプローチは柔軟で、CURL、WGET、fopen などを使用できます。

私が検討している1つのアプローチは

上記は、www.website.com から 6kb のみを転送することを意味するのでしょうか、それとも fopen が www.website.com をメモリにロードするということは、50kb 全体を転送することを意味するのでしょうか?

Webページから複数のPDFファイルをダウンロードしようとしています（Mac OS X 10.6.1を使用しています）。これが私が得ているものの例です（www.website.orgはほんの一例です）：

この403エラーをどのように克服できますか？代わりにcurlを使用する必要がありますか？

wgetを使用してGoogleトレンドのcsvデータをダウンロードしたいのですが、wgetの使用に慣れていません。URLの例は次のとおりです。

http://www.google.com/insights/search/overviewReport?cat=71&geo=US&q=apple&date&cmpt=q&content=1&export=1

これをWebブラウザーで開くと、期待されるファイルを取得します。wgetでこれを行うために、次のコマンドを試しました。

その結果、次のようになります。

私の最初の推測はwget、適切な認証でCookieにアクセスできないということです。

誰か？

wget を使用して Web フォルダから画像 (.jpg) をダウンロードしようとしています。ファイル名に特定の文が含まれる画像だけをダウンロードしたい。これはうまくいきます

しかし、私は文を含めるのが好きです。「ジョン」。私は試した

成功しませんでした。続行する方法はありますか？これをシェル スクリプト (bash シェル) に実装できますか。Mac OSX 10.6.1 を使用しています。

wget を使用してファイルをダウンロードし、さまざまなファイルから URL を読み取る小さなツールを作成しています。同じ URL が異なるファイルに存在する場合があります。URL が 1 つのファイルに複数回存在する場合もあります。ページを数回ダウンロードするのは効率的ではありません (その URL がリストで見つかるたびに)。

したがって、簡単な方法は、ダウンロードしたファイルを保存し、既に存在する場合は再度ダウンロードしないように wget に指示することです。

それは非常に簡単です。ただし、URL は非常に長い (多数の GET パラメーター) ため、ファイル名としてそのまま使用することはできません (wget は「... [] ファイル名が長すぎて書き込めません」というエラーを返します)。

そのため、ダウンロードしたファイルの名前を変更する必要があります。しかし、キャッシング メカニズムを機能させるには、名前変更スキームで「1 つの URL <=> 1 つの名前」を実装する必要があります。特定の URL に複数の名前を付けることができる場合、キャッシングは機能しません (つまり、単純にファイルに順番に番号を付ける場合)。それらが見つかった場合、どの URL が既にダウンロードされているかを wget に識別させません)。

最も単純な名前変更スキームは、ファイル名の md5 ハッシュを計算することです(ファイル自体ではありません。これは md5sum が行うことです)。これにより、ファイル名が一意であり、特定の URL が常に同じ名前になることが保証されます。

これは Perl などで実行できますが、bash で直接実行したり、システム ユーティリティ (RedHat) を使用して実行したりできますか?

このようなことを行うための安全な代替手段を探しています。

cron経由で実行されます。

その中の「--mirror」スイッチは私にとって重要です。

さまざまな理由で、単純なHTTPサーバーを作成し、OpenSSLを介してSSLサポートを追加しました。自己署名証明書を使用しています。IE、Firefox、Chromeは、信頼できるルートCAにCAを追加する限り、コンテンツを問題なくロードします。

ただし、wgetは（--no-check-certificateフラグを使用している場合でも）次のように報告します。

次を使用してサーバーに対してOpenSSLクライアントを実行する場合：

私は戻ってきます：検証エラー：num = 19：証明書チェーンの自己署名証明書はreturn：0を検証してから

wgetとOpenSSLクライアントは単に自己署名証明書では機能しませんか？

アップデート：

後でやってくる人のために、このコードを追加すると、OpenSSLクライアントとFirefoxに役立ちました。

wgetを使用してWebサイトから毎日.flvリンクを自動的にダウンロードし、すべてのリンクをデータベースに保存してWebサイトにストリーミングするソリューションを見つけようとしています。（すべてPHPで）それを行う方法は？ファイルのみのリンクをデータベースに保存する必要はありません。

よろしくお願いします、