問題タブ [wget]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
perl - Web ページを完全にミラーリングするにはどうすればよいですか?
完全にミラーリングしたいいくつかの異なるサイトにいくつかの Web ページがあります。これは、画像、CSS などが必要になり、リンクを変換する必要があることを意味します。この機能は、Firefox を使用して [名前を付けてページを保存] を使用し、[Web ページ、完了] を選択するのと似ています。ファイルと対応するディレクトリの名前を分かりやすい名前にしたいと思います (例: myfavpage1.html,myfavpage1.dir)。
サーバーへのアクセス権がありません。サーバーは私のページではありません。リンクの例を次に示します。Click Me!
もう少し明確にします...ミラーリングしたい約100ページがあります（多くは低速サーバーからのものです）。Solaris 10でジョブをcron化し、1時間ごとに結果をsambaマウントにダンプして、人々が表示できるようにします。そして、はい、明らかにいくつかの異なるフラグで wget を試しましたが、探している結果が得られませんでした。したがって、GNU wget ページを指してもあまり役に立ちません。簡単な例から始めましょう。
これから、フラグが正しければ、stackper.html ファイルにhttps://stackoverflow.com/tags/perlページが表示されるはずです。
command-line - Wgetで未完了のダウンロードの一時ディレクトリを設定するにはどうすればよいですか?
FTP サーバー上のファイルをミラーリングしようとしています。これらのファイルは非常に大きくなる可能性があるため、ダウンロードが中断される可能性があります。部分的なファイルを一時フォルダーにダウンロードしている間、元のファイルを保持し、完了したらローカルの古いバージョンを上書きしたいと思います。
- これはできますか？どうやって？
- 他に使いやすい (コマンド ライン) ツールはありますか?
passwords - wgetが私のユーザー名/パスワードを受け入れないのはなぜですか？
私は両方を試しました
と
しかし、私はエラーを受け取り続けます
私はファイルがそこにあることを知っています、そして私はユーザー名/パスワードが正しいことを知っています-私は問題なくftpで入ることができます。ここで何が起こっているのかについて何か考えはありますか？wget与えているユーザー名/パスワードに注意を払っているかどうかを確認するにはどうすればよいですか？（単にその情報を提供しなくても、エラーは同じです。）
shell - wgetエラーがシェルスクリプトを壊します - それを防ぐ方法は?
ダウンロードするさまざまな種類のファイルへのリンクがたくさんある巨大なファイルがあります。各行は、次のような 1 つのダウンロード コマンドです。
wget 'URL1'
wget 'URL2'
...
そしてそれらは何千もあります。
残念ながら、いくつかの URL は、たとえば次のように、非常に見苦しく見えます : http://www.cepa.org.gh/archives/research-working-papers/WTO4%20(1)-charles.doc wget.
エラーが発生します：
./tasks001.sh: 35 行目: 予期しないトークン `1' 付近で構文エラーが発生しました
./tasks001.sh: 35 行目: `wget ' http://www.cepa.org.gh/archives/research-working-papers/WTO4%20(1)-charles.doc ''
ダウンロードするものを指定する URL と「URL」の両方の方法を試しました。
そのようなスクリプトを無人で実行する方法はありますか? ダウンロードできなかったファイルをスキップするだけならOKです。
ruby - Rubyで大量のWebページを高速にダウンロードするには? ダウンロードの並列化？
(scrAPI を使用して) 400 以上の Web ページの ruby をスクレイピングする必要があります。実際のコードは非常に連続しています。
実際、コードは少し異なります (例外処理など)。
どうすれば速くなりますか？ダウンロードを並列化するにはどうすればよいですか?
linux - http リクエストごとに新しい IP アドレスを割り当てることは可能ですか?
wget などのコマンドで http 要求を行う必要があるたびに、サーバーに新しい IP アドレスを変更または割り当てることはできますか?
皆さんありがとう
アップデート
この理由は、まさに Tor プロジェクトが達成しようとしていることです。サーバーが行ったリクエストの痕跡を残したくありません。また、IP アドレスを常に変更することで、私とユーザーが追跡されることなくインターネットを使用できるようになると考えました。:)
apache - wget -k Windows と Linux ではファイルの変換方法が異なります
Windows と Linux 用のGNU Wget 1.10.2を持っていますが、これら 2 つの-kオプションの動作は異なります。
-k, --convert-links は、ダウンロードした HTML 内のリンクをローカル ファイルを指すようにします。
Windowsでは、次のものが生成されます。
Linux では次のように生成されます。
これは Linux では問題です。Apache を介してミラーを提供すると、疑問符 ( ? ) 文字の後の部分がファイルへのクエリ文字列として使用されるため、生成された 4 つのページが区別されないためです。
これを制御する方法についてのアイデアはありますか?
ありがとう
linux - curl と wget どっちがいい？
それらは同じですか？特定のことは、一方では実行できますが、他方では実行できませんか? それらは何ですか？それとも、結局のところ、慣れの問題ですか？
wget - wgetでhttpステータス200の場合にのみファイルを作成しますか?
実際のダウンロード応答が有効な場合、つまり 404 または 500 ステータス コードがなく、200 のみである場合にのみ、wget がファイルを作成するようにする方法を見つけようとしています。
ただし、-O オプションを (ファイル名を指定するために) 使用すると、エラー ページの内容を含むファイルが常に作成されます。ヘッダ。
終了コードを確認して出力をパイプする必要がありますか、それともより良い代替手段がありますか?