問題タブ [aria2]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
command-line - aria2c を使用して大きな CSV の圧縮バージョンをダウンロードして保存する
エンコードを受け付けない HTTP サーバーから 28 GB (非圧縮) の CSV ファイルをダウンロードしていますgzip。ファイル全体をダウンロードしてから圧縮するとgzip、6.6GB のファイルになります。aria2c並列ダウンロード オプション (-xおよび) を使用してダウンロード-sするが、既に圧縮されているファイルを保存したいので、ディスク容量と I/O を節約できます (圧縮されていないバージョンをダウンロードして実行すると、gzip file.csv28+6.6GB が必要になります)非圧縮で保存してから圧縮して保存するすべての I/O を実行する必要があります)。
注: 現在、行の Python ライブラリを使用して圧縮バージョン (例はこちら) をダウンロードして保存していますが、並列ダウンロードはサポートされておらず、ダウンロードが完了するまでに時間がかかりすぎるため、並列にする必要があります。
aria2 - aria2 を使用して HTTP(S) ヘッダーを取得する
次のコマンドを使用して、http(s) リンクのヘッダーをダウンロードできます。
リンクが別のリンクへのリダイレクトである場合は、次のコマンドを使用してターゲットのヘッダーもダウンロードできます。
aria2で同じことを行うことは可能ですか?
download - aria2c で単一の大きなファイルをダウンロードする
サイズが約 60GB のファイルをダウンロードしたいと考えています。
私のインターネット速度は 100 mbps ですが、ダウンロード速度は帯域幅全体を使用していません。
aria2c を使用してこの 1 つのファイルをダウンロードすると、増加した「サーバーあたりの接続数」を利用できますか? aria2c では、最大 16 の接続を使用できるようです。このオプションは、単一のファイルをダウンロードする場合でも機能しますか?
ダウンロードがどのように行われるかを視覚化する方法は、1 つの接続がファイルの 1 つのセクターからダウンロードしようとし、もう 1 つの接続が別のセクターからダウンロードしようとするようなものです。基本的に、同時ダウンロードの最適な数は、ホストの帯域幅の制限に達するまでです (私の場合は 100mbps です)。2 つの接続がダウンロード中のセクターで衝突すると、aria2c はすぐにその特定のセクターが既にダウンロードされていることを確認し、別のセクターにスキップします。これは、1 つのファイルに対して複数の接続を使用する場合の動作ですか?