問題タブ [wget]

多数のファイルをダウンロードするスクリプトを作成しています。特定のファイルが存在しない場合に通知するようにしたいと考えています。

しかし、実行時に次のエラーが発生します。

./file: line 2: [: -ne: unary operator expected

どうしたの？

単一のGoogleドキュメントをダウンロードする方法を学びました。しかし、すべてのデータをテキスト形式でダウンロードし、それらを 1 つのテキスト ファイルにマージするスクリプトを作成しようとしています。では、Web ブラウザーと同じように、すべてのファイルを含む zip ファイルを取得できるように、ダウンロード部分を実装する方法を考えています。これは、単一のファイルを取得するための私の newb スクリプトです。より効果的にするための微調整を提案していただければ幸いです。

ご覧のとおり、ここでは単一のresourceIdを指定しています。多くのresourceId -s をダウンロード リンクにプッシュしてすべてを取得する必要がありますか、それとももっと良い方法がありますか?

HTTP と FTP の両方を介して大量のファイル転送を行う必要があるソフトウェアを構築しています。多くの場合、axel や pget を使用した lftp などのマルチ接続ダウンロード アクセラレータを使用すると、HTTP ダウンロードが高速になります。場合によっては、次のようなものを使用して 2 倍から 3 倍高速なファイル転送を見てきました。

また

対 wget を使用するだけ:

しかし、それ以外の場合は、wget が lftp よりも大幅に高速です。不思議なことに、これは次のように get で lftp を実行する場合でも当てはまります。

帯域幅の制約によっては、複数の接続を介してファイルをダウンロードしても、常に高速化されるとは限らないことを理解しています。しかし、なぜ遅くなるのですか？特に -n 1 で lftp/pget を呼び出すときは?

なぜこれが機能するのですか：

そして、これは失敗します:

wget、curl、またはその他のライブラリを使用せずに1行で行う方法はありますか?

Python を使用して 500 MB のファイルを取得しようとしていますが、urllib.urlretrieve(). この呼び出しが一貫してハングし、完了しないため、私とダウンロード サイトの間に何らかのネットワークの問題があるようです。ただし、 を使用wgetしてファイルを取得すると、問題なく動作する傾向があります。この違いを引き起こす可能性があるurlretrieve()との違いは何ですか?wget

ftpサーバーからそれぞれ50〜100MBのチャンクで巨大なファイルをダウンロードしたいと思います。各ポイントで、「開始」ポイントと必要なチャンクの長さを設定できるようにしたいと思います。「以前の」チャンクをローカルに保存しません（つまり、プログラムにダウンロードを「再開」するように依頼することはできません）。

それについて行く最良の方法は何ですか？私はwget主に使用しますが、他の何かがより良いでしょうか？

この目的でライブラリを使用するのではなく、ビルド済み/ビルド内の関数に本当に興味があります... wget/ ftp（また、私は思う）はダウンロードの再開を許可するので、それが問題になるかどうかはわかりません。 ..（私はすべてのオプションから理解することはできませんが！）

巨大なファイル全体を最後まで残したくはありません。チャンクで処理するだけです...すべて-FTPダウンロードを続行してから再接続するのは興味深いと思います。

ftp ファイルを部分的にダウンロードしたい。ダウンロードする必要があるのは10MBと言えますが、100MBをスキップした後です（たとえば）。

PHP では、 http: //php.net/manual/en/function.ftp-fget.phpで、この関数は任意の開始点を許可します。

ただし、ダウンロードする「バイト数」を設定することはできません。

Webサイトを疑似スパイダーする方法を探しています。重要なのは、実際にはコンテンツではなく、URIの単純なリストが必要なことです。オプションを使用してWgetを使用すると、このアイデアにかなり近づくことができ--spiderますが、その出力をで配管する場合、grepそれを機能させるための適切な魔法を見つけることができないようです。

フィルタは出力grepにまったく影響を与えないようです。wget何か問題がありますか、それともこの種の限定された結果セットを提供することを目的とした別のツールを試す必要がありますか？

アップデート

だから私はオフラインで、デフォルトでwgetstderrに書き込むことを知りました。私はmanページでそれを見逃しました（実際、それがそこにある場合、私はまだそれを見つけていません）。リターンをstdoutにパイプ処理すると、必要なものに近づきました。

この種のことを行うための他の/より良い手段があれば、私はまだ興味があります。

URL：http : //www.teamliquid.net/replay/download.php?replay=1830は、.repファイルへのダウンロードリンクです。

私の質問は、path / _。repのような定義されたプレフィックスで保存するために、元のrepファイルの名前を知っているJavaでこのコンテンツをダウンロードする方法です。

// Javaからwgetを実行しようとしましたが、元のファイルの名前を取得する方法がわかりません。

Web アプリでユーザーのログインが必要な場合、wget を使用して Web アプリの一部のフォームに入力できますか? スクリプトで wget を使用してデータを Web アプリに送信しようとしていますが、ログインしていないため、Web アプリが試行を拒否しているようです。