問題タブ [openstack-swift]

「 http://docs.openstack.org/developer/swift/development_saio.html」の指示に従って、SAIO - Swift All In One をセットアップしようとしました。

しかし、「curl -v -H 'X-Storage-User: test:tester' -H 'X-Storage-Pass: testing' url:8080/auth/v1.0」を実行すると、「HTTP/1.1」という結果になります400不正な要求"。

私はクラウド コンピューティングを初めて使用するので、この問題について助けていただければ幸いです。

python-swiftclient不器用な APIに取り込もうとしていますが、問題が発生しています。これは、最も単純なコードを簡略化したものです。

ファイルが 30 秒ほどアップロードされた後、次のエラーが表示されます。

CEPH + S3 Java SDK + 署名付き PUT URL + CORS を機能させるための魔法の公式を探しています。バケットを作成し、CORS 構成をバケットに適用できます。その後、事前に生成された PUT URL を作成して、クライアントに送り返すことができます。ただし、CORS プリフライト (オプション) 要求は 403 で失敗します。

AWS に対しては、この同じコードがうまく機能します。ただし、Swift と Ceph の両方が 403 で OPTIONS 要求に失敗します。OPTIONS が失敗するため、CORS は失敗します。RADOSGW の auth ヘッダーの作成方法に問題がある可能性があることを突き止めました (私たちはそう考えています)。これは、Amazon SDK で使用される署名プロセスと一致しません。例えば：

コンテンツ タイプと追加のメタデータ フィールドが欠落していても作業できますが、METHOD が完全に間違っていることに気付きます。RADOSGWは、署名のメソッドとして「Access-Control-Request-Method」を使用する必要があると思います...プリフライトリクエストに使用されている実際のOPTIONSメソッドではありません。

この組み合わせを機能させることができた人はいますか？

swift を使用してオブジェクトを配置しようとしたときに例外が発生しました。

コードは次のとおりです。

誰でもこれを解決する方法を教えてください

私がしようとしているとき、私はこれを得ました

ラインで

swiftApi.getObjectApiForRegionAndContainer("RegionOne", CONTAINER_NAME).get(OBJECT_NAME);

これを解決する方法

jclouds による openstack からのコンテンツ取得に関連するリンクまたはサンプル アプリケーションを共有してください。

Swift バージョン 1.8.0 の Swift クラスターに問題があります。クラスターは 3 つのストレージ ノード + プロキシ ノードから構築され、2 回のレプリケーションがあります。各ノードには 2 TB の sata HDD が 1 つ搭載されており、OS は SSD で実行されています。トラフィックは、1 分あたり約 300 個の 1.3 MB ファイルです。ファイルは同じサイズです。各ファイルは、7 日間に相当する値の X-expire-after でアップロードされます。

約 3 か月前にクラスターを開始したとき、アップロードするファイルは大幅に少なく (~150/m)、すべて正常に機能していました。システムにより多くの圧力をかけているため、ある時点で、オブジェクトの期限切れ機能は、アップロードされるほど速くファイルを期限切れにすることができず、ゆっくりとサーバーをいっぱいにしました。

分析の結果、次のことがわかりました。

• これはネットワークの問題ではなく、インターフェイスが過負荷になっておらず、開いている接続が極端に多いわけでもありません
• CPU の問題ではなく、負荷は問題ありません
• RAM の問題ではないようです。64G から 20G まで空きがあります。

ボトルネックはディスクのようです.iostatは非常に明らかにしています:

読み取りと書き込みの待機時間は常にそれほど良いとは限りません:)、数千ミリ秒に達する可能性があり、これはかなり恐ろしいことです。

また、ノード側とプロキシから多数の ConnectionTimeout メッセージが表示されます。

ストレージ ノードの例:

また、プロキシから：

Swift にプッシュするすべてのサービスと object-expirer が停止すると、ほとんどの場合、ディスク使用率は 100% のままになります。async_pending トランザクションはありませんが、おそらく object-replicator からの再同期が大量に行われています。すべてがオンになっている場合、ほとんどの時点で 30 ～ 50 またはそれ以上の async_pending トランザクションがあります。

問題を軽減するためにさまざまな解決策を考えましたが、基本的には次のような結果になりました。

• ストレージ用の SSD は高すぎて実現しない
• 別の HDD を RAID0 クラスター内のそれぞれとペアにして配置します (迅速なレプリケーションがあります)
• bcache や flashcache などのキャッシュの使用

この種の問題を経験した人はいますか？根本原因を探すためのヒントやその他の場所はありますか? エクスパイア/レプリケータのパフォーマンスを最適化する可能性はありますか?

追加情報が必要な場合は、お知らせください。

ありがとう

cosbench を使用してクラスターのパフォーマンスをテストしようとすると、オブジェクト ストレージのパフォーマンスが 30 秒ごとに変動することがわかりました。次のような実験が行われました。

プロキシ サーバー 1 台とストレージ サーバー 5 台 (オブジェクト サーバー用に 3 台、アカウント/コンテナー サーバー用に 2 台)、各サーバーには 8*1T HDD、64GB メモリ、および 12 個の CPU コアがあります。サービス オブジェクト サーバーだけが起動されます。1 つのクライアントだけが小さなオブジェクトをクラスターに配置すると、この現象が発生します。多くのディスク リクエストが到着し、すべてのディスク レイテンシが 30 秒ごとに突然上昇することがわかりました。なぜこれが起こるのか、誰でも教えてくれます。