ハードウェア ベースのハード ドライブ暗号化に関するこの記事をたまたま見つけて、これがデータを保護するための優れた方法を提供するだけでなく、そのデータの暗号化に使用するアプリケーションの速度も向上させることに気付きました。
これは私を疑問に思いました...
すべてのデータがドライブに読み書きされるときに適切に圧縮または圧縮解除されるように、圧縮に対して同じことを行うことは可能でしょうか?
私はかなり長い間ファームウェアのプログラミングを行っていないので、これが技術的に可能かどうかさえわかりません.
ただし、そうであれば、おそらくかなり多くのストレージスペースが人々に提供される可能性があります.
このようなアプローチをファームウェアで使用するプログラミングの長所と短所は何ですか?
100ドルの速度の1TBドライブの世界では、スペースよりもはるかに価値のあるリソースです。それは価値がないでしょう。
編集：
ああ、つまり、800バイトの非圧縮データを取得してシステムに送信するよりも、プラッターから100バイトの圧縮データを取得し、解凍してからシステムに送信する方が速いということです。とても遅いです。
それは賢いアプローチのように思えますが、トレードオフが価値があるとしたら、ハードドライブメーカーはすでにこの技術を採用しており、ハードドライブの速度は事実にもかかわらず彼らがしているものであると私は確信しています。
しかし、誰が知っているか、あなたは何かに取り組んでいるかもしれません！
約15年前、ハードウェア圧縮を行うIDEコントローラーカードの広告を見たのを覚えています。それが良かったかどうかわからない。それらは、1GBが1,000ドルを超えるドライブを行っていた時代でした。
前に述べたように、特にほとんどアクセスされないファイルを圧縮された形式で保存している場合は特に、ゲインはそれほど大きくありません。
ハードウェアで行うのは難しいので（どのディスクサイズを報告する必要がありますか？入力のエントロピーがそのサイズと等しい場合はどうしますか？）そして最新のCPU + RAMはとにかくHDDと比較して非常に高速です、ソフトウェアでそれを行うだけです。
私が知っている実装はcompFUSedであり、他のファイルシステムの上に階層化されています。もう1つは、圧縮をネイティブにサポートする有効化方法に関するZFSブログエントリです。
私はまた、ネットワークトラフィックについて少し前にこのアイデアを考えていました-これは以前に行われました: gzip を使用して圧縮するためのアクセラレータカードがあります: http://www.aha.com/show_prod.php?id=36
また、別の利点として、ドライブからコンテンツを圧縮せずに転送できることも考えていました。ディスクから圧縮されたブロックを読み取って送信するだけで、後で圧縮する必要はありません。
スタッカーを覚えているのは誰ですか? これはすべて、80年代/90年代にすでに死に至りました。速度は決して問題ではなく、「トリッキー」でもありませんでした。最近ではまったく不要です。
可能ですが、非常にトリッキーです。暗号化されたセクターは通常のセクターと同じサイズであり、同じ計算を使用してデータを検索しますが、圧縮されたセクターは「小さい」ため、「実際の」セクターのマップを保持する必要があるため、カスタムドライバーを開発する必要がありますOS、またはドライブ自体の圧縮セクター。
他の唯一の側面は、アクセス速度とレイテンシです。シークには影響しませんが、書き込みよりもデータの圧縮に時間がかかる場合があります。圧縮にはかなりの計算負荷がかかります。
さらに、データの大きな塊に到達するまで、圧縮はあまり良くありません。おそらく、その場で 512 バイト (1 セクター) を圧縮し、平均して数パーセントの圧縮を得ることができますが、人々は、ハードウェアのために余分な現金を用意する前に、20% 以上の圧縮を見たいと思っています。
ディスクの処理能力とメモリがさらに必要になるため、ドライブのコストが増加します。
さらに、ドライブ容量は急速に増加しているため、これを行うのはおそらく費用対効果が高くありません。
たとえば、パフォーマンスを低下させず、追加の (不安定またはクラッシュしやすい) ドライバーを使用せず、どの OS でも動作するなど、スペースを 2 倍にする奇跡の圧縮を開発したとします。ただし、ドライブのコストが 100 ドル高くなります。
誰かが今 1 TB のドライブを 2 TB のドライブに変換するのは理にかなっているかもしれませんが、6 ～ 8 か月後には 2 TB のドライブが 200 ドルを下回るでしょう。今なら $99 で 1 TB を手に入れることができるので、それより小さいドライブには価値がありません。
ドライブとコンピューターの間で機能するように作成すると、ドライブに直接組み込むよりもはるかに大きな遅延が発生し、価格/パフォーマンスのヒットは価値がない可能性があります.
したがって、技術的には可能ですが、落とし穴があり、システムに複雑さと弱点が追加されますが、これらの欠点がなかったとしても、価値がない可能性があります。
-アダム
もう 1 つの考慮事項は、ディスク上の大きなファイル (音楽、写真、ビデオ) のほとんどは、通常、既に圧縮されている (MP3、JPEG、MP4/MOV) ため、圧縮しても役に立たないということです。また、圧縮されていないファイル (テキスト ファイル、ワープロ、電子メールのテキスト) は、バケツにドロップされる傾向があります。
gzip で圧縮された何千ものテキスト ファイルを検索していて、クアッドコア i7 を zip で解凍していたので、私自身も同じことを考えていました。GPU が並列処理を高速化するように、専用の gzip ハードウェアがこれを高速化できるのではないかと思いました。しかし、上記の懸念により、ほとんどの場合、圧縮されたハードドライブはあまり役に立たないのではないかと思います.