問題タブ [tar]

ソース コード ディレクトリ全体 (約 800 MB) を tar するスクリプトがあり、できるだけ速く実行したいと考えています。GNU Tar は、なんらかの理由で、tar を展開するときに少し遅くなりました。誰かがすでにこの比較を行っていて、どのアプリケーションが最速の tar/untar 実装を持っているかを知っているかどうか疑問に思っていました. Windowsの場合、ところで。

Solaris ボックスの特定のディレクトリの下にあるすべての *.class ファイルのみを tar しようとしています。tar のマニュアル ページを読むと、-I オプションが必要なように思えました。これは、問題のディレクトリから試したものです:

それから私は得る：

~/classfiles.tar ファイルはガベージです。

*.class ファイルがあるディレクトリへの書き込み権限がないため、ホーム ディレクトリに tar を書き込む必要があります。誰かが私が間違っている場所を教えてもらえますか? どのタールマジックを使用すればよいですか?

tarball からフォルダを抽出していますが、これらの 0 バイトのファイルが結果に表示されます (ソースにはありません)。 セットアップ (すべて OS X 上):

マシン 1 には、数百のファイルを含むディレクトリ /My/Stuff/Goes/Here/ があります。こんな感じで建てます

マシン 2 で、tgz ファイルをローカル ディレクトリに scp し、解凍します。

~scott/My/Stuff/Goes/ が作成されますが、Goes の下に次の 2 つのファイルが表示されます。

「Here.bGd」ゼロバイト ファイルには、ランダムな 3 文字のサフィックスがあり、大文字と小文字が混在しています。tar-creation コマンドで指定された最下位ディレクトリと同じ名前です。指定された最下位レベルのディレクトリにのみ表示されます。これらがどこから来たのか、どうすればtarの作成を調整してそれらを取り除くことができるか知っている人はいますか?

更新: tar tZvf を使用してファイルの目次を確認しました: toc には 0 バイトのファイルがリストされていないため、圧縮解除マシンに問題があるという提案に傾いています。OS X は unzip マシンでバージョン 10.5.5 です (ファイルシステムの種類を確認する方法がわかりません)。Tar は GNU tar 1.15.1 で、マシンに付属していました。

AIX 環境で作業していて、次の tar コマンドを発行すると、ソケットでエラーが発生します。

質問 1. ソケット エラーを回避するにはどうすればよいですか?

質問 2. エラーのあるファイルを除くすべてのファイルが含まれている tar ファイルを信頼できますか?

Java で tar (または tar.gz、または tar.bz2) ファイルを抽出するにはどうすればよいですか?

同僚の Bash スクリプトで、次の興味深い tar の使用法を見ました。

どうやら rsync -av と同じように動作しますが、より高速です。どうやって？という疑問が生じます。

-m

編集:このソリューションが以下よりも望ましい理由を誰かが説明できますか?

前者の方が速いですか？

私は、リクエストに応じてアーティファクトを構築するために何千もの小さなファイルを使用するJavaWebアプリケーションに取り組んでいます。これらのファイルをディスク全体で実行して常に見つけるのではなく、これらのファイルをメモリにマップできれば、システムのパフォーマンスが向上すると思います。

Linuxでmmapについて聞いたことがありますが、その概念の基本的な理解は、ファイルがディスクから読み取られると、ファイルの内容がメモリのどこかにキャッシュされ、その後のアクセスが速くなるということです。私が考えていることはその考えに似ていますが、私のWebアプリが最小限の要求時間応答のために初期化しているので、mmap可能なファイルのセット全体をメモリに読み込みたいという点が異なります。

ここでの私の思考訓練の1つの側面は、ファイルがすべてタール化され、何らかの方法で仮想ファイルシステムとしてJVMにマウントされた場合、ファイルをjvmメモリにすばやく取り込むことができるということです。現状では、現在の実装がソースファイルのセットを調べて、ディスク上にあるものをすべて把握するのに数分かかる場合があります。これは、基本的に300,000を超えるファイルのファイル統計を実行しているためです。

tarファイルから情報を読み取ることができるapacheVFSプロジェクトを見つけましたが、「また、tar全体をメモリに読み込んで保持する」などの指定ができるかどうかは、ドキュメントからはわかりません。

ここでは、マルチスレッド環境について話しています。アーティファクトは、通常、300,000以上のソースファイルの完全なセットから約100の異なるファイルをつなぎ合わせて、1つの応答を作成します。したがって、仮想ファイルシステムソリューションが何であれ、スレッドセーフでパフォーマンスが高い必要があります。ここでは、ファイルの読み取りについてのみ説明しており、書き込みについては説明していません。

また、32ギガのRAMを搭載した64ビットOSを実行しており、300,000ファイルは約1.5〜2.5ギガのスペースを占有します。確かに、2.5ギガバイトのファイルを300Kの小さな数キロバイトサイズのファイルよりもはるかに高速にメモリに読み込むことができます。

入力ありがとうございます！

• ジェイソン

現在、SharpZipLib を使用していますが、GPL を使用しているため、商用ライブラリに置き換える必要があります。

Ant 1.7.1を使用して、.gitサブディレクトリを含むディレクトリのコンテンツをtarアップしています。私の現在の仕事は

ただし、結果のtarballには.gitサブディレクトリが含まれています。誰かがそれが含まれるのを防ぐ方法を指摘できますか？