0

ファイルベースの検索エンジンであるアプリケーション (Endeca) があります。顧客は Linux 100 サーバーを所有しており、すべてが同じ SAN (非常に高速なファイバー チャネル) に接続されています。現在、これら 100 台のサーバーのそれぞれが同じファイル セットを使用しています。現在、各サーバーには独自のインデックスのコピーがあります (約 4 ギガ、合計で 400 ギガ)。

私がやりたいことは、1 つのディレクトリと、そのディレクトリの 100 個の仮想コピーを持つことです。アプリケーションがそのディレクトリ内のいずれかのファイルに変更を加える必要がある場合にのみ、元のフォルダーの個別のコピーの作成が開始されます。

だから私の考えはこうです: 100人全員が同じディレクトリを使い始めます (しかし、彼らはそれぞれ自分のコピーを持っていると思っていて、それ以上のことは知りません)。変更が加えられると、Linux/SAN はそのオリジナルの最大 100 個のコピー (現在はわずかに異なります) を持つ可能性があります。

このようなことは可能ですか？

このアプローチを調査している理由は、ファイル転送時間とディスク容量を削減するためです。4 GB のインデックス ファイルを一度 SAN にコピーして、仮想コピーを作成するだけで済みます。変更がなければ、400 ではなく 4 ギガのみを使用します。

前もって感謝します！

4

2 に答える 2

0

ここでの最善の解決策は、SAN レベルで「重複除外」機能を利用することです。ベンダーによって呼び方が異なる場合がありますが、私が話しているのは次のとおりです。

https://communities.netapp.com/community/netapp-blogs/drdedupe/blog/2010/04/07/how-netapp-deduplication-works--a-primer

100 個の「仮想」コピーはすべて、SAN 上の同じ物理ディスク ブロックを使用します。SAN は、ファイルの特定のコピーに変更が加えられた場合にのみ、新しいブロックを割り当てる必要があります。次に、このコピーに新しいブロックが割り当てられますが、残りの 99 個のコピーは古いブロックを使用し続けるため、必要なディスク容量が大幅に削減されます。

于 2013-02-08T01:50:47.827 に答える
0

使用しているEndecaのバージョンは何ですか? MDEX7 エンジンには、リーダー ノードとフォロワー ノードがすべて同じファイル セットから読み取るクラスタリング機能があるため、ファイルが共有されている限り (NAS 経由など)、同じセットによってバックアップされた異なるマシンで複数のエンジンを実行できます。インデックスファイルの。リーダー ノードのみがファイルを変更して変更の一貫性を保つことができます。フォロワー ノードは、変更を「取得」する準備ができたときにクラスター コーディネーターから通知を受けます。

MDEX 6 シリーズでは、インデックス ファイルが読み取り専用であれば、おそらく同様のことを実現できます。通常、V6 でのインデックス作成は別のマシンで行われ、新しいインデックスの準備が整うと、インデックス ファイルの宛先セットが置き換えられます。ただし、部分的な更新が必要な場合は役に立ちません。

Netapp の重複排除は興味深いようですが、Endeca は機能をテストしたことがないため、どのような問題が発生するかわかりません。

于 2013-02-21T19:34:45.357 に答える