問題タブ [high-load]

指定された文字列に各文字が何回出現するかを計算する必要があります。C または C++ で実行する必要があり、任意のライブラリを使用できます。問題は、私は C/C++ 開発者ではないため、自分のコードが最適かどうか確信が持てないことです。最高のパフォーマンスのアルゴリズムを取得したいのですが、それがこの質問の主な理由です。

現在、次のコードを使用しています。

std::map 以外の構造を使用することもできますが、どの構造が優れているかわかりません。

ご協力いただきありがとうございます！

私の友人と私は、いくつかの Web アプリケーションを開発する予定です。私たちにとって平均的に最も一般的なスクリプト言語は Python であり、開発には Python を使用したいと考えています。しかし、私たちはタスクに適したツール セットを選択することに混乱しています。非常に高い負荷が予想されますので、最初はそのことを念頭に置きたいと思います。

Tornado は優れた非同期ノンブロッキング Web サーバーであり、おそらく wsgi を介して動作するもの (つまり、セッション用の Beaker) が必要であることがわかりましたが、wsgi サーバー モードで動作する場合、Tornado はそれほど非同期ではありません。また、wsgi はまったく非同期で動作するように設計されていないこともわかりました。同時に、asyncmongo などの一部の便利なライブラリには Tornado が必須であるため、おそらくここで何かを犠牲にする必要がありますが、選択は難しいものです。

また、オールインワン ソリューションが気に入らないため、Django を使用したくありません。

問題は、Python でフル機能の高負荷アプリケーションを構築する一般的な方法は何ですか? ここで使用する具体的なライブラリ/フレームワークは何ですか?

私がやろうとしているのは、CPUを集中的に使用するスクリプト（実行に3〜12秒かかり、AJAXなし）を実行する前に、単純なdivを「Processing ...」と更新してから、divを「Finished！ 「」それが終わったら。

私が見ているのは、divが「Processing...」で更新されないことです。そのコマンドの直後にブレークポイントを設定すると、divテキストが更新されるので、構文が正しいことがわかります。IE9、FF6、Chrome13でも同じ動作です。

jQueryをバイパスして基本的な生のJavascriptを使用している場合でも、同じ問題が発生します。

あなたはこれが簡単な答えを持っていると思うでしょう。ただし、jQuery .html（）と.text（）にはコールバックフックがないため、これはオプションではありません。また、アニメーション化されていないため、操作する.queueはありません。

以下で準備したサンプルコードを使用して、これを自分でテストできます。このサンプルコードは、5秒の高CPU関数を使用したjQueryとJavascriptの両方の実装を示しています。コードは簡単に理解できます。ボタンまたはリンクのいずれかをクリックしても、「処理中...」は表示されません。

私は次のコードを持っています

foreach および for ループからすべてのクエリを移動したいのですが、より速く動作すると思います。これを行う方法がわかりません。どんな助けでも大歓迎です。

現在、mysql テーブルに 40 万件を超えるレコードがあります。構造は次のとおりです。

私が使用している機能：

20 個のサブ ID と 1 日の期間があり、実行に 40 分かかります。これを高速化するためのヒントはありますか？

<img>サイトにタグを埋め込むことで負荷の高いWeb統計システムを作っています。私がやりたいことは次のとおりです。

1. nginx は、ホストからイメージのリクエストを取得します
2. ファイルシステムから小さな1pxの静止画像をホストするための答えとして与えます
3. この時点で、何らかの方法でリクエストのヘッダーをアプリケーションに転送し、ホストへの接続を閉じます

私は Ruby で作業しており、純粋なラック アプリを作成してヘッダーを取得し、さらに計算するためにそれらをキューに入れます。

私が解決できない問題は、Sphinx を設定して Rack アプリにヘッダーを渡し、Rack アプリケーションからの応答を待たずに応答として静止画像を返すにはどうすればよいですか?

また、より一般的な Ruby ソリューションがあれば、Rack は必要ありません。

一般的な統計情報と検索機能へのインターフェイスを提供するサイト\リソースがあります。この検索操作はコストがかかるため、(検索エンジンからではなく、人からの) 頻繁かつ継続的な (つまり自動) 検索要求を制限したいと考えています。

何らかのインテリジェンス取得保護を実行する既存の手法やフレームワークは数多くあると思います。そのため、一からやり直す必要はありません。mod_wsgi を通じて Python と Apache を使用しています。

私は mod_evasive を知っています (それを使用しようとします) が、他の手法にも興味があります。

私はJavaサーバーアプリを作成しました。3800〜4000のネットワーク接続を同時に受け入れることができ、CPU /ネットワークの負荷は低いです（<40％）しかし、このしきい値を超えると、新しい接続を拒否するか、古い接続を強制終了して受け入れるため、ライブ接続数は約です3800 ～ 4000 (数は異なります)。

ソフトウェア自体、OS 構成、または CPU/NAT (40% 未満の負荷がかかっているという事実に関係なく) で、ここでボトルネックになる可能性のあるヒントを誰かに教えてもらえますか?

CPU: 4 コア (1 つのコアが 50%、他の 3 - 25% がロードされます) 環境: Amazon EC2、Windows Server 2003 R2

編集: メモリ使用量は 500 Mb 未満 JRE は 32 ビット、1.6.0_30 MaxUserPort は 65534 に設定されています

非常に負荷の高い Web サイトがあり、テスト アプリを非表示の iframe の下に置いて、ターゲット フレームワークがユース ケースに適していることを確認しています。最初にSignalRテストアプリを試し、次に同じサーバー構成でPokeinを試しました。現在、Flash リモーティング ソリューションを使用していますが、まもなく変更する予定です。

Web サイトの負荷が高い状態でクライアントの同時更新を処理するために、SignalR ベースのテスト アプリケーションを作成するのに時間を費やしました。シナリオ（一部のクライアントがメッセージを要求する）ではうまく機能していました.接続されているクライアントのほとんどが同時にメッセージを要求すると、劇的に失敗しました（iframe呼び出しから削除する必要がありました）..私は私のサーバー構成が問題だと思っていましたが、同じシナリオは他の有料ソリューション Pokein でも問題なく動作します。

私が忘れるトリックはありますか？

2012 年 2 月 10 日更新: PokeIn をソリューションに実装することにしましたが、Github で最新の SignalR コードを試しました (他の人にとっては役立つかもしれません)。結果は同じです。

2012 年 3 月 13 日更新: シナリオ: (もう一度) - 接続されている数千のクライアントに一定の間隔 (1 秒) でメッセージを送信してみてください。テストして結果を確認するのは難しくありません。このタイプの非常に一般的な使用法についてライブラリにストレスを与えているのは私だけだと思います。

詳細 (再現方法 - Github の 0.5 でテスト) - Server 2008 R2 32GB DDR3, i7-2600 3.4Ghz, 2x256 GB Crucial M4 - ASP.NET 3.5

• シングルページアプリ。サーバーからのクライアント側の時刻を毎秒更新します

• このページは、実際の負荷テストを行うために、いくつかの Web サイトによって読み込まれる非表示の iframe に埋め込まれています。

• 問題

  • ある時点 (約 800 ユーザー) でシステムがロックされ、ほとんどのクライアントがサーバーから更新された時間を取得できません。

  • システムがロックされると、その 1 つのアプリ ページが応答を停止します

また、間隔を 5 秒に増やしてみました。今回はシステムの応答性が向上しましたが (約 950 ユーザー)、結果は同じでした。これを .NET 2 および .NET 4 アプリケーション プールで試しました。

これらの詳細で十分であることを願っています。このテストを繰り返すことは私にとって非常に簡単であり、空き時間を見つけたらすぐに、将来のバージョンでテストを繰り返します.

私はNettyが初めてです。現在、サーバーを移行しているため、高負荷が発生しています。例のようにすべてを実行して、多くの人を読みましたが、バグがあります。CPU負荷が時間とともに非常に速く増加します。

ヒープとログを分析すると、例外をスローするチャネル (それらだけではない可能性があります) が正常に閉じず、ワーカーのセレクターに保持されることがわかります。50 人のユーザーがオンラインで 150 以上のチャンネルを開設しました。

私のコードは次のとおりです。

サーバーの作成:

パイプライン工場:

デコーダ：

そしてハンドラー：

CPU負荷の増加を除いて、すべてが非常にうまく機能しています...