問題タブ [network-storage]

ファイルのアップロードを受け入れる Rails アプリがあり、サーバー間で共通のストレージを使用するための最良の方法を知りたいと思っていました。多数の Windows アプリケーションがあるため、これまで Samba を使用してきましたが、純粋な Linux アプリケーションを構築する際には、これを可能な限り最善の方法で行いたいと考えています。

大量のデータが予想されるため、これを複数のファイル サーバーに拡張する必要があります。

私は、ファイルのアップロードを受け入れ、ユーザーが後でこれらのファイルを変更できる Rails アプリに取り組んでいます。たとえば、テキスト ファイルの内容を変更したり、サイズ変更、トリミング、回転などの画像の基本的な操作を実行したりできます。

現時点では、すべてのアプリケーション要求を処理するために Apache が Passenger で実行されているのと同じサーバーにファイルが保存されています。

セットアップの負荷を分散するために、ユーザー ファイルを専用サーバーに移動する必要があります。現在、ユーザーは 1 週間に約 10 GB のファイルをアップロードしています。これは膨大な量ではありませんが、最終的には増加します。

そのため、アプリケーション サーバーとファイル サーバー間の通信を実装する方法について、さまざまなオプションを検討しています。シンプルで誰にでもできるソリューションから始めたいと思います。後で複数のファイル サーバー間で適切にスケーリングできれば、私は大満足です。

ここに私が調査してきたいくつかの異なるオプションがあります:

• アマゾンS3. 私のアプリケーションに実装するのは少し難しいと思います。アップロードされたファイルを再度「アップロード」する複雑さが増します (後で複数回行う可能性があります)。ユーザーは私のアプリでファイルや画像を変更できることに注意してください。それ以外は、「設定して忘れる」ソリューションがいいでしょう。
• ファイル サーバー上に存在し、アプリケーション サーバー側から見たときに透過的にファイルを管理する、ある種の単純な RPC サーバー。ここではまだ標準的で十分にテストされたツールを見つけることができなかったので、これは私の考えではもう少し理論的です。ただし、GitHub で構築および使用されている Bert と Ernie は興味深いように見えますが、複雑すぎて開始することはできません。
• MogileFS も面白そうです。それが使用されているのを見たことがありません（しかし、それは私の問題です:)。

そのため、Web アプリケーションのファイル サーバーがどのように実装され、実際にどのように機能しているかについて、さまざまな (そしておそらく標準ベースの) アプローチを探しています。

伸縮自在の大容量ストレージ
用に、マルチノード コンピュータ ネットワーク (Linux PC の内部サブネット) にまたがる B+tree を構築したいと考えています。
範囲スキャンは重要です。

これは基本的に
分散 DB システムの基礎となるデータ構造ですか? (カサンドラ、HBase)

分散 B+Tree に関する研究はありますか? http://www.cs.yale.edu/homes/aspnes/papers/opodis2005-b-trees-final.pdf
で記事を見ましたが、 BTree をスキップして障害のあるノードを削除するだけです (データが失われます) 。

冗長性が組み込まれた B+Tree に特に関心があります
(つまり、ホストに障害が発生し、そのホストがホストするすべてのノードがオフラインに
なった場合、複製された別のホストがプライマリ ノード
サーバーになり、障害が発生したホストの代わりになることを望みます)。 )

DB インスタンスのコレクション (1 ノード、1 DB) を使用したくありません。
シャーディングは
大規模なストレージ システム (
FOSS OS を備えたコモディティ x86、x64 ハードウェア全体) には適していないためです。

車輪の再発明ですか？
Cassandra または HBase を使用する必要がありますか?

これがシナリオです、

デスクトップに接続されている1TBの内蔵SATAHDDがあります。ラップトップからこのHDD内のファイルにアクセスする場合は、このデスクトップのスイッチをオンにする必要があり、ssh（sftp）またはWindows共有のいずれかを使用する必要があります。デスクトップの起動とログイン時間のように、このアプローチは退屈で電力の浪費であり、また遅いアプローチだと思います。

追加の要件に従って、HDDをネットワークストレージとして使用できる代替ソリューションがあるのではないかと思います。

1. HDDがコンピュータに直接接続されているかのようにファイルに簡単にアクセスできます（セットアップはそれほど多くありません）
2. Windows、Linux、Macから簡単にアクセスできます。
3. セキュリティ機能を実装します。
4. インターネット上でのストレージ（HDD）の使用。（オプション）
5. HDDを追加するためのプロビジョニング

ユーザーがファイルとフォルダーをサーバーにオンラインで保存する MVC アプリケーションを開発しています。ユーザー データの保存に NAS を使用することを考えていましたが、簡単な質問がありました。ユーザー データの量が NAS ストレージ容量を超えた場合はどうなりますか? そして、それが何度も発生し、ユーザーが保存したファイルをダウンロードしたい場合、どうすればファイルがある場所 (特定の NAS) を知ることができますか? .. 私はこの分野に慣れていないので、それについて多くの質問があります。使用可能なスペースを見つけた場所にファイルを配置するという責任を持つ「メイン NAS」を持つ方法があるかどうかわかりません。自分で行う代わりに、ファイルがどこに保存されていても、ファイルを取得できます。私の質問が明確かどうかはわかりませんが、誰かがアイデアを出す必要があります。前もって感謝します。

ファイルを複製せずに、デスクトップとラップトップの両方からサイトでNetwork Attached Storage (NAS)作業しdev、常に最新のファイルを保持できるようにすることを求めていました (保存するのを忘れた場合に備えて)。私の質問は、php を使用するサイトをそこに配置した場合、 / を使用する場合と同じように、サイトをオフにして実行できるNASでしょうMAMPかWAMP? それとも、それを機能させるためにまだ何か他のものが必要ですか?

このコマンドを使用して、新しいシステムでソフトレイヤー耐久ストレージを承認しようとしました

リンクの指示に従いましたが、うまくいきません。 https://sldn.softlayer.com/it/blog/sjanowiak/how-use-softlayer-api-authorize-guest-vms-iscsi-storage

コンソールはこのエラーを返します。(明らかに、私は正しい値をパラメーターに入れました)

SoftLayer API を使用して VM が iSCSI ストレージを使用することを許可するにはどうすればよいですか? Pythonサービスに機能はありますSoftLayer.ISCSIManager(client)か?

よろしく

http://sldn.softlayer.com/reference/services/SoftLayer_Network_Storageの API を使用して、ボリュームごとに許可されたホスト制限を取得しようとしています。

許可されたホスト制限値に対して常に「0」を取得します。どうすれば正しい値を取得できますか?

私は使用しています：

http://sldn.softlayer.com/reference/services/SoftLayer_Account/getNetworkStorage

すべてのネットワーク ストレージのリストを取得します。

しかし、http://sldn.softlayer.com/reference/datatypes/SoftLayer_Network_Storageでは、ネットワーク ストレージが属するデータセンターの詳細を取得する方法がわかりません。

ただし、「slcli iscsi list」(たとえば) は「datacenter」列を表示しています。

Ruby SoftLayer API を介して同じものを取得するにはどうすればよいですか?