問題タブ [cloud]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
sql-server - 1日あたり100万行増加する、10億行のテーブルでの「ピボットベースのクエリ」の実行時間をスケーリングおよび改善する方法に関するアドバイス
当社は、テキストファイルを解析するための内部プロジェクトを開発しています。これらのテキストファイルは、通常の式を使用して抽出されたメタデータで構成されています。10台のコンピューターが24時間年中無休でテキストファイルを解析し、抽出されたメタデータをハイエンドのIntel Xeon SQLServer2005データベースに供給しています。
簡略化されたデータベーススキーマは次のようになります。
内部に異なるメタデータを持つ多くの異なるテキストファイルタイプがあります。すべてのテキストファイルに対して、Itemおよび抽出されたすべてのメタデータ値に対して、Attribute.
Items_Attributes allow us to avoid duplicate Attribute values which avoids database size to increase x^10.
This particular schema allows us to dynamically add new regular expressions and to obtain new metadata from new processed files no matter which internal structure they have.
Additionally this allow us to filter the data and to obtain dynamic reports based on the user criteria. We are filtering by Attribute and then pivoting the resultset (http://msdn.microsoft.com/en-us/library/ms177410.aspx). So this example pseudo-sql query
would return a pivoted table like this
The application has been running for months and performance decreased terribly at the point is no longer usable. Reports should take no more than 2 seconds and Items_Attributesテーブルは週に平均10,000,000行増加します。すべてが適切にインデックス化されており、クエリ実行プランの分析と最適化にかなりの時間を費やしました。
だから私の質問は、レポートの実行時間を短縮するためにこれをどのようにスケーリングしますか？
私たちはこの可能な解決策を持ってきました：
- ハードウェアを追加購入し、SQLServerクラスターをセットアップします。（適切な「クラスタリング」戦略に関するアドバイスが必要です）
- HBaseのようなキー/値データベースを使用します（問題が解決するかどうかはわかりません）
- RDBMSではなくODBMSを使用する（db4oを検討してきました）
- ソフトウェアをクラウドに移動します（経験はありません）
- 実行時に静的にレポートを生成します。（私たちは本当にしたくありません）
- 一般的なレポートの静的インデックスビュー（パフォーマンスはほぼ同じ）
- スキーマの非正規化（一部のレポートには、1回のクエリで最大50個のテーブルが含まれます）
cloud - クラウド コンピューティングはバックエンドもスケーリングできますか?
Web アプリケーションのプラットフォームを選択しています。
クラウド コンピューティングがフロント エンド サーバーをどのようにスケーリングできるかは理解していますが、データベース サーバーはどのように処理されるのでしょうか?
これを可能にするために開発者がしなければならないことはありますか?
cloud - クラウドは、1人の開発チームに行く方法をホストしていますか？
.NETMVCWebアプリケーションを構築しています。クラウドは1人のショーに行く方法をホストしていますか？
StackOverflowは単純な2ノードのセットアップで実行され、1日あたり100万ページのビューを簡単に実行できるため、クラウドホスティングは、そのレベルに到達するまでは意味がありますか？
クラウドホスティングは本当にサーバーホスティングの側面を奪うと思いますか？
mysql - クラウドコンピューティングとMYSQLを組み合わせることは可能ですか？
Webサーバーの主なボトルネックは、通常、データベース（私の場合はMYSQL）にあります。
より具体的には、全文検索とマスタースレーブレプリケーション。
そして、スフィンクスは全文検索の可能性のあるソリューションであるため、マスタースレーブレプリケーションは
お尻の最後の痛み。
クラウドコンピューティングのテクノロジーでパフォーマンスを大幅に向上させることは可能ですか？
たとえば、Amazonが提供するサービスによって？
ただの大げさな推測です！
編集：MySQLとGoogle App Engineはどうですか？
silverlight - Silverlightで使用するのに適したクラウドベースのファイルストレージプラットフォームは何ですか？
私は、ユーザーが数ギガのファイルを架空のクラウドベースのファイルストアにアップロードし、後でそれらのファイルに関するデータを表示できるようにするSilverlightアプリに取り組んでいます（ファイルストアよりも多くの機能）。理想的には、SkyDriveなどの無料のユーザーごとのストアを使用したいのですが、そのサービスのAPIが見つからないようです（そして、プログラムによるアクセスがTOSに違反していることをスタックオーバーフローの他の場所で読んでいます）。この法案に適合するサービスはありますか？Amazon S3について聞いたことがありますが、いくらかお金がかかることを理解しています-何か無料ですか？
編集：メッシュはオプションでしょうか？ LiveMeshオブジェクトとそのSilverlight3.0との関係
distributed - オープンソースの分散コンピューティング/クラウドコンピューティングフレームワーク
誰かが良いオープンソース分散コンピューティングプロジェクトを知っているかどうか疑問に思いましたか？分散コンピューティング（SETI @ Homeなど）の恩恵を受ける可能性のある計算集約型のプログラムがあり、誰かがそのようなものを見たことがあるかどうか、または最初から開発するかどうかを知りたいですか？
cloud - クラウドコンピューティングとグリッドコンピューティングの違いは何ですか？
クラウドコンピューティングとグリッドコンピューティングの重要な違いは何ですか？両方の正確な定義とターゲットアプリケーションドメインは何ですか？私は技術と一緒に概念的な洞察を探しています。
WindowsAzureがクラウドOSであるように、グリッドコンピューティング用のようなものはありますか？
以前は、分散コンピューティングと並列コンピューティングに取り組み、分散処理にはPVMやMPIなどのライブラリを使用していました。好奇心から、グリッドコンピューティングがインターネット上で拡張された分散コンピューティングであるかどうかを知りたいと思いました。
php - PHP 外部ダウンロードをユーザーに渡す
外部ダウンロードをユーザーに渡す方法がPHPにあるかどうか疑問に思っていましたか? スクリプトでやりたいことは、特定の条件に応じて、サーバー A またはサーバー B からユーザーにファイルを送信することです。ただし、ユーザーにいずれかのサーバーへの直接の URL を知らせたくありません。
例: ユーザーのアクセス (サーバー C にある): http://example.com/download?id=1234 サーバー A のファイルへのアドレス: http://servera.com/1234.exe サーバー B のファイルへのアドレス: http: //serverb.com/1234.exe
誰かがhttp://example.com/download?id=1234にアクセスしたときに、ユーザーに直接 URL を提供せずに他のサーバーのダウンロードを送信する方法はありますか? ファイル ([外部ファイルはこちら]) を実行できることはわかっています。しかし、すべての帯域幅がサーバー C を通過することは望ましくありません。サーバー C はほとんど単なるリダイレクトです。
ありがとう、ジェームズ
amazon-s3 - AmazonのCDN（CloudFront）のファイルを更新するにはどうすればよいですか？
Amazon CloudFront（AmazonのCDNサービス）に保存されているファイルを更新する方法はありますか？作成したファイルの更新は行われないようです（たとえば、ファイルを削除して、以前と同じファイル名で新しいファイルを保存します）。新しいファイルの内容を公開するために、エッジサーバーからファイルを削除するために、更新プロセスを明示的にトリガーする必要がありますか？
ご協力いただきありがとうございます