問題タブ [object-storage]

ローカルのスタンドアロン Spark クラスターからオブジェクト ストレージのファイルにアクセスできません。これはコードです -

これは私が得ている例外です

注 - ノートブックまたは bluemix 内で spark-submit を実行しているときに、ファイルにアクセスできます。

また、swift CLI を介してファイルにアクセスすることもできました。

OpenStack Swift が「リング」を格納する場所を知っている人はいますか? 分散アルゴリズムはありますか、それとも、すべての (!) 物理オブジェクトの場所に関する情報を含む、一部のストレージ ノードのどこかにある 1 つのテーブルだけですか (オブジェクト ストレージに関する私の理解から、エクサバイトにスケーリングする必要があるとは信じられません。そのようなテーブルには多くのエントリが必要になるでしょうか...)?

このページは役に立たなかった: http://docs.openstack.org/developer/swift/overview_ring.html

よろしくお願いします。

クエリ パラメータ 'limit'、'marker'、および 'end_marker' を使用しました。マーカーを使用したパラメーター制限 (ex ?limit=10&marker=image.png) はうまく機能しますが、「end_marker」を使用して前のページを取得しようとすると (ex ?limit=10&end_marker=image.png)、うまく機能しません。 . 前のページを迅速なオブジェクトストレージで取得するにはどうすればよいですか?

http://developer.openstack.org/api-ref-objectstorage-v1.html#storage_object_servicesを参照しました

すべてのファイルを一覧表示せずに、フォルダーまたはコンテナー パスを使用してすべてのファイルとフォルダーを削除したい。出来ますか？

これは私に適切な頭痛を与えているので、私は質問を落とすと思った

ファイルを SoftLayer Object Storage コンテナーにアップロードする PHP アプリケーションがあります。Object Storage API と通信するために、 https://github.com/softlayer/softlayer-object-storage-phpの PHP バインディングを使用 し、composer.json ファイルからそれらを参照しています。

オブジェクト コンテナ ファイルと URL の取得はすべて正常に機能しています。しかし、特にファイルのサイズによっては、ファイルのアップロードに問題があり続けています。数日前までは機能していましたが、最近何らかの理由で機能しなくなりました

ファイルのアップロードに使用している「すぐに使える」コードは次のとおりです。

何らかの理由で、1Mb 未満のファイルのアップロードが機能します。しかし、これよりも大きなサイズのファイルは、->create() リクエストが最終的にタイムアウトになり、例外はスローされず、ログに次のエラーが記録され続けます。

これらのバインディングは基本的にラッパー ラウンド カールであるため、1M を超えるファイルを Softlayer ストレージ コンテナーにアップロードできるかどうかを自分で CURL でテストしました。開発マシンとステージング サーバーの両方で CURL を使用して成功したことがわかりました。

これに遭遇したことがありますか？なぜ突然機能しなくなったのかわかりません。誰にもアイデアはありますか？

読んでくれてありがとう

AWS S3 の代替品として S3 Dynamic Storage を使用しようとしています。Carrierwave-awsを使用して Ruby で使用しています。

私が行った唯一の変更は、別の資格情報 (Swisscom Developer Console からキーとシークレットを取得) とエンドイントとしてhttps://ds31s3.swisscom.comを使用することでした。

Access Denied適切なリクエストのように見えるものをログから確認できますが、carrierwave からのエラー メッセージを乗り越えることができません。

それが何のことか知っている人はいますか？

Bluemix オブジェクト ストレージに DataFrame を Parquet ファイルとして保存するために、Spark Notebook を実行しています。

ノートブックを再実行するときに、Parquet ファイルを上書きしたいと考えています。しかし、実際にはデータを追加しているだけです。

iPython コードのサンプルの下:

Bluemix で実行されている Flask を使用して Python アプリを使用しています。Object Storage を swiftclient モジュールで使用してコンテナーを作成し、コンテナーにファイルを保存する方法は知っていますが、コンテナーに含まれる joblib または pickle ファイルをダンプするにはどうすればよいですか? そして、それを Python プログラムにロードするにはどうすればよいでしょうか?

以下は、単純なテキスト ファイルを保存するコードです。