問題タブ [cloudfiles]

リモート サーバーから画像オブジェクトを取得し、API を使用して Rackspace の Cloud Files にアップロードしようとしています。a) このプロセスをより効率的にするにはどうすればよいか、b) より多くのメモリを購入する必要があると仮定すると、このタスクを達成するのに妥当な RAM の量 (現在の開発サーバーはわずか 512 MB です)。

スクリプトを実行すると、次のようになります。

• 一連の ID (約 1,000) についてローカル データベースにクエリを実行する
• 各 ID について、10 ～ 20 個の画像オブジェクトを返すリモート サーバーにクエリを実行すると、各画像は 25 ～ 30k になります。
• データベースの ID に基づいて Cloud Files コンテナを作成します
• リモート サーバーから返されたイメージ オブジェクトごとに、コンテナーにイメージ オブジェクトを作成し、そのオブジェクトにイメージ データを書き込みます。
• 追加された画像の日時でローカルデータベースの行を更新します

これは、ID の小さなセットで比較的迅速に実行されますが、100 (つまり 700 ～ 1k の画像) には 5 ～ 10 分かかる場合があり、それ以上のものは無期限に実行されるようです。次のことを試しましたが、ほとんど成功しませんでした:

• PHP の set_timeout を使用して数分後にスクリプトを強制終了すると、実行に割り当てられたメモリがパージされると考えられるため、中断したところから再開して、セット全体を小さな部分で処理することができます。ただし、このエラーは決してスローされません
• アップロード後に画像オブジェクトを含む配列キーの設定を解除します（ループ内の参照だけではありません）。

PHP の memory_limit は 128MB に設定されており、「tops」コマンドを実行すると、ユーザー「www-data」がメモリ リソースの 16% を消費していることがわかります。ただし、ユーザーのリストには表示されなくなりましたが、引き続きこれが表示されます。

...しかし、TIME+ は決して変化しません。まだ 1 つのタスクが実行されていることがわかりますが、これらの値は変わりません。

長い投稿をお詫びします - 何が役立つか (もしあれば) は完全にはわかりません。これは私の専門分野ではないので、ストローを少しつかみます。よろしくお願いします。

次の擬似コードのようなものを使用して、cloudfile モジュールを使用してファイルをラックスペース クラウド ファイルにアップロードしています。

私の問題は、アップロードする小さなファイルがたくさんあり、この方法では時間がかかりすぎることです。

ドキュメントに埋もれていると、ファイルを並行してアップロードするために使用できると思われるクラスConnectionPoolがあることがわかります。

このコードで一度に複数のファイルをアップロードする方法を教えてください。

リモート ファイルから Cloud Files Container にファイルをロードしようとしています。

以下は、Cloud Files のサポート担当者から提供されたサンプル コードです。

私が得ている問題は、以下のエラーです:

私がここで気づいていないことは正確にはわかりません。

次のコードの理由

$auth = new CF_Authentication(USERNAME, API_KEY, NULL, UK_AUTHURL);

私に与えている

PHP Fatal error: Uncaught exception 'InvalidResponseException' with message 'Unexpected response (): ' in /var/www/sites/mysite/http/inc/rackspace/cloudfiles.php:212 Stack trace: 0 /var/www/sites/mysite/http//test-rackspace.html(17): CF_Authentication->authenticate() 1 {main} thrown in /var/www/sites/mysite/http/inc/rackspace/cloudfiles.php on line 212?

以前は、以下を使用して米国のサーバーに誤って接続しようとしていました。

$auth = new CF_Authentication(USERNAME, API_KEY);

それは私に与えていました：

PHP Fatal error: Uncaught exception 'AuthenticationException' with message 'Invalid username or access key.' in /var/www/sites/mysite/http/inc/rackspace/cloudfiles.php:209 Stack trace: 0 /var/www/sites/mysite/http/test-rackspace.html(17): CF_Authentication->authenticate() 1 {main} thrown in /var/www/sites/mysite/http/inc/rackspace/cloudfiles.php on line 209

1.7.9 / 1.7.8 / 1.7.6 バージョンのコードを試しました。どれも違いはありません。

ここで私の髪を引き裂いて、どんな助けも大歓迎です！

かなり大きな HDF5 ファイルをオンラインで配置しようと考えており、Amazon S3 や EBS を保存場所として検討しており、バックエンド処理に EC2 インスタンスを 1 つまたは 2 つ活用する可能性があります。それがどのようにできるか、または以前に行われたかについての実用的なアイデアと、可能であれば実際の例へのリンクを探しています。誰かが他の組み込みデータストアのフラットファイルにアクセスするのと同じ方法で実行できると思いますが、実用的な洞察が得られる場合は車輪の再発明を避けたいと思います.

2 つの異なるアップローダーを使用するアプリを開発しています。私がやろうとしているのは、各アップローダを異なる cloudfiles コンテナに割り当てることです。これに関するドキュメントが見つからないようです。誰か助けてもらえますか? ありがとう！！

ファイルをラックスペース クラウドファイルにアップロードしようとすると、このエラーが発生します。エラーの原因を追跡しようとしましたが、次のコード行から発生していると思います。

$container = $conn->get_container('test');

これは私が得ている完全なエラーです:

そして、これはアップロード用のコードです:

paperclip-cloudfiles gem を使用して、Rails 3 上に構築されたファイル管理システムのダウンロード リンクを設定しようとしています。send_file メソッドは、ファイルをローカルでホストする場合にうまく機能しますが、Rackspace Cloudfiles システムを使用する必要があります。応答ヘッダーを設定しようとしましたが、ダウンロードが初期化されているようですが、終了するとファイルが空になります。

ここに私のダウンロード機能があります：

私はこれを正しく行っていますか？

また、Rackspace の ruby​​-cloudfiles ライブラリだけを使用してオブジェクトをダウンロードしようとしましたが、うまくいきませんでした。

Rackspace Cloud Files 用の PHP API を使い始めたところです。ここまでは順調ですが、シリアル化されたデータのキーと値のペアを格納する、貧乏人の memcache のようなものとして使用しています。

私のアプリは、次のようなものを使用して、既存のキャッシュされたオブジェクトをキー (API 言語では「名前」) で取得しようとします。

問題は、オブジェクトが存在しない場合、API が単に を返すのではなく、致命的なエラーをスローすることfalseです。API でこれを行う「正しい」方法は、おそらく

次に$key、そのリストで自分の値を確認します。ただし、これはリクエストfalseから戻るだけでなく、時間/CPUを集中的に使用するようです。get_object

Cloud Files で「オブジェクトの検索」または「オブジェクトが存在するかどうかの確認」を行う方法はありますか?

ありがとう

CarrierWave を使用して Rackspace CloudFiles にファイル (写真) をアップロードする Rails 3 アプリケーションがあります。これは完全に機能します。しかし、10 ～ 20 枚の写真のリストをページに表示すると、15 秒を超える非常に長い時間がかかります。各 URL を解決または元に戻すには時間がかかるようです。

これはこれと同様の問題ですが、:cloud_files プロバイダーの場合:
https://github.com/jnicklas/carrierwave/issues/261

これに対する良い回避策はありますか？各ファイルが有効であることを確認する必要はありません。

更新:
この情報を共有したかっただけです。Cloud Files を使用するように構成された Fog - Fog を使用して CarrierWave に切り替えましたが、問題は発生しませんでした。問題が解決しました。他の誰かもこれを経験していますか？