背景:各リクエストにかなりの量の計算が含まれる Web サービスを実行しています (クアッドコア マシンでは最大 10 秒)。

各リクエストは、約 150 の独立した (同じくらい小さい) サブタスクに分割できます。

私が求めているもの:この種の要求をスケーラブルな方法で効率的に処理できるホスティング サービスを探しています。

私が検討したこと: Google App Engine と Rackspace について調べました。

あたかも GAE が単純な要求を意図しているかのように私には思えます。Rackspace のようなものの問題は、必要な vCPU の数を前もって知ることができないことです (そして、将来のスパイクがどれほど大きくなるかを知っていたとしても、たとえば 40 台のサーバーが残りのサーバーをアイドリング状態にしているのを見たくはありません)。時間）

質問:

1. 次のように GAE を使用することは可能でしょうか。

   1. リクエストごとに、150 のサブタスクに分割します

   2. 同じ webapp に対して 150 の同時 HTTP 要求を実行することにより、すべてのサブタスクを個別に処理します (ただし、異なる方法を使用します)。

   3. 「サブリザルト」から結果を収集し、元のリクエストに対するレスポンスを返します。

2. Map Reduce for GAE が役立つ可能性はありますか?

3. このタスクに適した他のサービスはありますか?

Railsアプリをホストする場所を選択しようとしていますが、AWSに傾倒していますが、Rackspaceマネージドクラウドオプションと同様に、AWSでインフラストラクチャを管理する評判の良い会社があるかどうか疑問に思いました。

インフラストラクチャを管理するために他の誰かが必要な場合に、なぜRackspaceでホストしないのか疑問に思われるかもしれませんが、その理由は、初期費用を正当化できないためです。Rackspaceは、インフラストラクチャ管理に月額100ドルの定額料金と、小さなアプリケーションで月額300ドル近くを簡単に実行できるユーティリティの使用コストを請求しますが、AWSでは、無料でアプリを（少なくとも最初は）ほとんど実行できました。ティア。Rackspaceが請求する価格（$ 100）に匹敵する価格でインフラストラクチャ管理を提供している評判の良い会社を見つけることができれば。私は両方の長所を持つことができました。

ところで、この時点でインフラストラクチャを自分で管理することはできません。私はその主題について全く知識がありません。学んでいる間、待つ時間がありません。

ラックスペース クラウド サイトからラックスペース クラウド ファイルにファイルを転送するための、事前に作成された php スクリプトを誰かが知っているかどうか疑問に思っています。

Rackspace はファイルをクラウドにバックアップするスクリプトを提供しますが、転送はしません。（そして、数時間を費やして、最終的にスクリプトが機能するようになった後に初めて気づきました）。

http://www.rackspace.com/knowledge_center/article/how-to-use-cron-to-backup-cloudsites-to-cloudfiles

私は PHP (Rackspace の cron ジョブに必要) を知らないので、これに役立つスクリプトがあれば素晴らしいと思います。

ありがとう。

私は現在、ユーザーがプロジェクトをアップロードするプロジェクトに取り組んでいますが、他のユーザーはそれらのプロジェクトのクローンを作成できます（github-esqueを考えてください）。

私の最初のアイデアは、プロジェクトごとにコンテナーを作成して、プロジェクトのクローンを簡単に作成できるようにすることです。ただし、各ファイルへの参照とその場所はデータベースに保存します。

プロジェクトごとにコンテナーを作成するのが最善のオプションですか、それともユーザーごとにコンテナーに固執する必要がありますか？コンテナ内のファイル量の制限が非常に大きいことは知っていますが、最初の計画はより適切に拡張できると思います。

人々を考えますか？

ラックスペースからログファイルを解析したい。公式の python sdkを使用しています。以前にファイルをディスクに保存し、そこからgzip.open.

現在、私はherokuを使用しており、ファイルをディスクに保存できない/保存したくないが、メモリ内で解凍を行います。

ただし、オブジェクトを文字列または疑似ファイル オブジェクトとしてダウンロードして処理することはできません。

誰かがアイデアを持っていますか？

アップデート

空の文字列が完全に真実ではないことに気付きました。これはループを通過しており、最初の出現だけが空です。次の発生時にはデータがあります (gzip されているように見えます) が、次の zlib エラーが発生します。

アップデートⅡ

提案どおり、cStringIO を実装しましたが、同じ結果になりました。

更新 III これは現在動作します:

そして、少なくともここでクラッシュはありませんが、実際の行は得られないようです:

ここをどう進めますか？受信データを通常の文字列として表示して、正しい方法であるかどうかを知る簡単な方法はありますか?

そのため、職場では、ラックスペース クラウド サイト プラットフォームで多数のサイトを運営しています。これは問題なく機能しますが、サーバー側を微調整する方法がなく、時々応答が遅くなることがあります。

ほとんどのサイトが肥大化したワードプレスのインストールであると仮定しましょう。

これらをホストするために EC2 マイクロ インスタンスを使用することは可能でしょうか? (サイトごとに 1 つのインスタンス)?

クラウド サイトに柔軟性がなく、Amazon のサービスを好むため、ラックスペースから離れたいと考えています。

ファイル ストレージを Rackspace Cloudfiles に移動したところ、send_file アクションが壊れました。

年

新着

ファイルが公開ファイルにあったとき。コードはうまくいきました。リンクをクリックすると、ファイルがダウンロードされ、Web ページは変更されません。今、このエラーが発生します。

私は何が欠けていますか？

お時間をいただきありがとうございました。

Webアプリ、特に最初のページの読み込み（index.html）を高速化したい。

これを行うには、Rackspace CloudFilesでmyfastapp.comをホストしてから、Joyentのノードサーバーに接続するnodeserver.myfastapp.comというサブドメインを作成します。

注：ノードサーバーは、socket.ioを介してのみ接続し、CDN（myfastapp.com）から取得する追加フ​​ァイルをクライアントに通知します。

そこで、最近、Rackspaceサーバー（Ubuntu LAMPスタック）をセットアップして、送信メールにPostfixとSendgridを使用しました。cmd行からのテストメールがsendgridsmtpを介して配信されるという点でうまく機能します。しかし、私がメールを受け取ったとき、それはそれからだと言っておりroot@rackspaceservername、私はそれに返信することができません。

このトピックに従ってエイリアスを作成しました。postfixのデフォルトのメールアドレスを変更するにはどうすればよいですか？webmaster@mydomain.comこれは、まだ。として表示されている送信者名でそれを言いrootます。

サーバーが私のウェブマスターの電子メールを使用するように、または少なくともそれがどこから来ているように見せて、返信がその電子メールに送られるようにするには、何を変更する必要がありますか？

どんな助けでも大歓迎です！

ラックスペース クラウド サイトで php アプリケーション (Yii) を実行しています。実行中のラックスペース クラウド サーバーに memcached サーバーをインストールしました。問題は、memcache にアクセスできないことです。次のエラーが表示されます

Memcache::get() [<a href='memcache.get'>memcache.get</a>]: Server xx.xx.xxx.xxx (tcp 11211) failed with: A connection attempt failed because the connected party did not properly respond after a period of time, or established connection failed because connected host has failed to respond. (10060)

でキャッシュ構成を見つけてください。main.php

それを機能させる方法は？