問題タブ [wget]

Python を使用して 500 MB のファイルを取得しようとしていますが、urllib.urlretrieve(). この呼び出しが一貫してハングし、完了しないため、私とダウンロード サイトの間に何らかのネットワークの問題があるようです。ただし、 を使用wgetしてファイルを取得すると、問題なく動作する傾向があります。この違いを引き起こす可能性があるurlretrieve()との違いは何ですか?wget

ftpサーバーからそれぞれ50〜100MBのチャンクで巨大なファイルをダウンロードしたいと思います。各ポイントで、「開始」ポイントと必要なチャンクの長さを設定できるようにしたいと思います。「以前の」チャンクをローカルに保存しません（つまり、プログラムにダウンロードを「再開」するように依頼することはできません）。

それについて行く最良の方法は何ですか？私はwget主に使用しますが、他の何かがより良いでしょうか？

この目的でライブラリを使用するのではなく、ビルド済み/ビルド内の関数に本当に興味があります... wget/ ftp（また、私は思う）はダウンロードの再開を許可するので、それが問題になるかどうかはわかりません。 ..（私はすべてのオプションから理解することはできませんが！）

巨大なファイル全体を最後まで残したくはありません。チャンクで処理するだけです...すべて-FTPダウンロードを続行してから再接続するのは興味深いと思います。

ftp ファイルを部分的にダウンロードしたい。ダウンロードする必要があるのは10MBと言えますが、100MBをスキップした後です（たとえば）。

PHP では、 http: //php.net/manual/en/function.ftp-fget.phpで、この関数は任意の開始点を許可します。

ただし、ダウンロードする「バイト数」を設定することはできません。

Webサイトを疑似スパイダーする方法を探しています。重要なのは、実際にはコンテンツではなく、URIの単純なリストが必要なことです。オプションを使用してWgetを使用すると、このアイデアにかなり近づくことができ--spiderますが、その出力をで配管する場合、grepそれを機能させるための適切な魔法を見つけることができないようです。

フィルタは出力grepにまったく影響を与えないようです。wget何か問題がありますか、それともこの種の限定された結果セットを提供することを目的とした別のツールを試す必要がありますか？

アップデート

だから私はオフラインで、デフォルトでwgetstderrに書き込むことを知りました。私はmanページでそれを見逃しました（実際、それがそこにある場合、私はまだそれを見つけていません）。リターンをstdoutにパイプ処理すると、必要なものに近づきました。

この種のことを行うための他の/より良い手段があれば、私はまだ興味があります。

URL：http : //www.teamliquid.net/replay/download.php?replay=1830は、.repファイルへのダウンロードリンクです。

私の質問は、path / _。repのような定義されたプレフィックスで保存するために、元のrepファイルの名前を知っているJavaでこのコンテンツをダウンロードする方法です。

// Javaからwgetを実行しようとしましたが、元のファイルの名前を取得する方法がわかりません。

Web アプリでユーザーのログインが必要な場合、wget を使用して Web アプリの一部のフォームに入力できますか? スクリプトで wget を使用してデータを Web アプリに送信しようとしていますが、ログインしていないため、Web アプリが試行を拒否しているようです。

現在、サーブレットでパラメーター login と password を受け入れていますが、wget を使用するとログにこの情報が保存されます (GET メソッドであり、Apache が途中にある場合)。

これの代わりに、サーブレットの認証の受け入れを強化したいと思います。

サーブレットで、サーバー側で、ユーザーが送信しているログインとパスワードをJavaコードで読み取るにはどうすればよいですか?

ある e コマース ソフトウェアから別の e コマース ソフトウェアにサイトを移動し、古い URL から新しい URL への 301 リダイレクトを行う URL リライター ルールを作成しました。URL の小さなサンプルでテストしましたが、できるだけ多くの URL をテストできるツールを探しています。URLのリスト（またはsitemap.xml）をフィードできるツールを知っている人はいますか。このツールは、各 URL の取得を試み、それぞれのステータス コードを報告します。結果は、次のようなステータス コードを含む URL のリストになります。

www.site.com/oldurlformat1/ 301 恒久的に移動

www.site.com/newurlformat1/ 200 OK

www.site.com/oldurlformat2/ 301 恒久的に移動

www.site.com/newurlformat2/ 200 OK

これはほとんど wget で実行できますが、最後に要約/レポートを取得するのが行き詰まっています。

リモート Web サイトからローカル コマンドにファイルをストリーミングしようとしていますが、エラーを検出しようとするといくつかの問題が発生します。

コードは次のようになります。

その wget コマンドをコマンドラインから直接実行し、stderr をファイルにリダイレクトすると、正常なことが起こります。stdout はダウンロードされたページになり、stderr には特定のページを開くことに関する情報が含まれます。

open3 経由で wget を実行すると、ページと情報の両方が stdout に混在しています。私が期待するのは、ロードされたページが 1 つのストリームにロードされ、wget からの STDERR が別のストリームにロードされることです。

コードを単純化して、open3 を使用する理由が明確でない点はわかりますが、一般的な計画は、stdout を受け取ったときに別のフィルタリング プログラムにストリーミングし、最後にwget とフィルタリング プログラムの両方から stderr を読み込んで、何か問題があった場合はその原因を特定します。

その他の重要事項:
• wget されたデータをファイルに書き込み、そのファイルを別のファイルにフィルター処理してから、出力を読み取ることを避けようとしていました。
• $? を読み取るだけでなく、何が問題なのかを確認できることが重要です。>> 8 (つまり、IP アドレスが間違っているとか、適切な種類の Web サイトではないなど、ユーザーに伝えなければなりません)。
• 最後に、入力の一部が信頼できないユーザーによって提供されているため、他の perl-ism (バックティック) よりも system/open3/exec を選択しています。

私は150,000行を超えるテーブルを持っており、そのほとんどが毎日更新されます。mysqlキャッシングをオンにしているので、ページの読み込みが速くなりますが、データベースが更新されるたびに、ページの読み込みが再び遅くなります。これは、キャッシュが再び構築されることを前提としています。

そのため、現時点でwget -m --delete-after http://localhost/はサーバーでを実行することにしましたが、これは完了するのに約4時間かかり、13ギガのようなものを移動します。

これを行うためのより良い方法はありますか？