問題タブ [riak-cs]

Riak CS のドキュメントから、クラスターには 1 つの Stanchion サーバーのみを使用する必要があることを理解しています。私のクラスターでは、すべて同じセットアップを持つ同一のマシンをスピンアップしているため、理論的には、必要に応じてどのマシンでも引き継ぐことができます。

理想的には、Stanchion もすべてのサーバーで実行し、メインの Stanchion サーバーに障害が発生した場合は、別のサーバーにその役割を引き継がせたいと考えています。これは機能しますか、それとも、Stanchion サーバーを別のマシン (フェールオーバー マシンを使用) に分離する必要がありますか? または、メインの IP が使用できなくなった場合に自動的に次の IP が試行されるように、Stanchion サーバーの IP のリストを構成できますか?

5 つの Riak-CS ノードの仮想化されたクラスターがあります。支柱は最初のノードに取り付けられます。これらのノードは、Nginx リバース プロキシの背後にあります。

boto ライブラリを使用している Python スクリプトを使用して JPG ファイルをアップロードすると、正常に動作します。

ただし、このようにすると、ACL がパブリックに設定されない場合もありますが、そうなる場合もあります (注: 最初にファイルをアップロードしてから ACL を設定しています)。

Nginx のログ ファイルを確認したところ、最初のケースでは次のようになっていることがわかりました。

2 番目のケースでは、次のようになります。

どちらも期待できます。

「s3cmd info s3://test/1.jpg」を使用して、ファイルの ACL を調べています。PUT acl が送信される Riak-CS サーバーによっては、ファイルがパブリックに変更される場合とそうでない場合があります。スクリプトを実行しているマシンから出てくるネットワーク トラフィックを確認しました。新しい ACL を PUT するコマンドは、失敗の成功に関係なく毎回まったく同じです。NGINX を介したメッセージも毎回まったく同じであり、ACL をパブリックに更新しない場合でも 200 を返します。

アップロード中に各ノードの Riak-CS ログ ファイルを監視しましたが、5 つの異なるアップロード シナリオのうち 2 つのシナリオでのみ発生しているようです。詳細は次のとおりです。

ファイルはノード 4 で PUT され、ACL はノード 3 で PUT されます。ファイルの ACL (S3Cmd Info) がノード 1 に対して実行され、結果が成功である場合、ACL にはパブリック アクセス セットが設定されています。その他の事例はこちら ->

ご覧のとおり、ACL が「固定」される場合と、そうでない場合があります。すべてのノード、特に 1 と 4 の構成を確認しましたが、問題は見当たりません。

なぜこれがうまくいかないのか、またはここで何が起こっているのかを調査し続ける方法を知っている人はいますか?

HTTP経由でSOLR APIを使用して検索する場合、Riakが日付形式に何を期待するか教えてもらえますか? 索引付けされたデータがいくつかあります。ワイルドカード検索により、次のことが確認されます。

また、スキーマが日時として _dt を取得していることも確認しました。

私はこれらを含む多くのバリエーションを試しました：

私は困惑しており、日付範囲に関するドキュメントはやや不足しています..誰かがこれを機能させましたか? エポック日時への変換に行き詰まっていますか?

RiakCS S3 PHP クライアント ライブラリはありますか? 私が見つけた最高のものは、S3cmdコマンド ライン クライアント ソフトウェアでした。

また、 Riak PHP Clientがあることも確認しましたが、S3 に関連するものはないようです。

aws-sdk-php-laravelをインストールし、RiakCS S3 と同じ資格情報を使用しましたが、機能していないようです。以下のエラー メッセージ:

ご指導やアドバイスをよろしくお願いいたします。

Hadoop で s3 および s3n URL を使用して、Amazon emr 用にコードを記述しました。

例: 豚:

コードを引き続き使用し、Amazon s3 の代わりに Riak-CS の使用に切り替えたいと思います。

つまり、その s3 URL が、バケットとファイルをセットアップする Riak CS クラスターを指すようにしたいと考えています。

Hadoop 構成に、プロキシまたは特定のホスト名を介して s3n URL をルーティングするオプションはありますか。

まず背景として、json データとメディア アセット (画像、録音されたサウンド) の両方を格納する必要があるアプリケーションがあります。

Riak を見ると、現在は「通常の」Riak で問題ないことがわかります。これは、非常に大きなファイルを処理しないためです。

しかし、近い将来、より大きなファイル (独自のバイナリ測定ファイルとビデオ ファイル) を処理する必要が生じ、代わりに Riak CS が魅力的な代替手段になるようです。

私の質問は次のとおりです: Riak のこれら 2 つのバージョンをどのように組み合わせることができますか?

1. Riak CS に直接アクセスして、そこに JSON データ ファイルを保存することはできますか?
2. Riak から始めて、Riak CS に移行し、Riak ストレージ バックエンドからのデータを保持することは可能ですか?
3. Riak と Riak CS の両方を同じサーバー (マルチ バックエンド) で実行できますか? Riak CS は Riak クライアント API と互換性がありますか?
4. 2 つを分離して 2 つのクラスター (最小 10 ノード、5 Riak + 5 Riak CS) にデプロイする必要がありますか?