問題なく2年間実行されているWebアプリケーションがあります。1 週間前に突然、応答時間が非常に遅くなりました。通常よりも約 10 ～ 50 倍遅くなります。
一度に 10 ～ 20 人のユーザーがシステムを使用しています。ユーザー要求の 90% がデータベース要求になります。システムは通常、多くのユーザーがオンラインではない早朝と夕方に応答します。
- どうすれば問題を検出できますか。問題を解決するためのステップバイステップのドキュメント?
- 問題の解決を手伝ってくれる専門の会社や専門家はいますか?
環境
Windows Server 2003
Quadcore Intel Xeon X3220、2.4GHZ、2 GB RAM
Sybase Anywhere 9 データベース - ドライバー: jconn3.jar
Glassfish 2.1
サーバーのインターネット帯域幅: 100MB/秒
アプリケーション
外部企業がアクセスするSmartGWT-Frontend (SmartGwt 2.4)
WebService を使用した Web アプリケーション
EJB なし、WebContainer のみ
まず、ハードウェアが限界に達していないようです。
Java.exe は、374 MB
の RAM sybase-db サーバーを使用して大量の要求が実行されると、CPU 使用率が 25% になることがあります: 220 MB の RAM
使用可能なメモリ: 常に約 1 GB
リクエストのスナップショット
8 分間のすべてのリクエストのスナップショットを作成しました
210 秒のクライアント リクエスト (gwtservice) 45%
合計 967 リクエスト、リクエストあたり 212 ミリ秒
100 秒 webservice (BankOrderService) 20%
合計 86 リクエスト、リクエストあたり 1170 ミリ秒
フロントエンド要素をブラウザーにロードするのに 160 秒 (.js、.png、jpg、.css など) 35%
合計 623 リクエスト、1 リクエストあたり 250 ミリ秒
最も時間のかかるリクエストの例 (ミリ秒単位):
15427.302 25.07.2012 11:50 Erfolg user1 REMOTE_WEB xx.yy.zz.228 URI:/BankApp/org.Bank.Main/091FF14E7C1D1187C770833D67B13321.cache.html
13558.571 25.07.2012 11:50 Erfolg user xx1 URI:/BankApp/org.Bank.Main/sc/modules/ISC_Core.js
12631.877 25.07.2012 11:50 Erfolg user1 REMOTE_WEB xx.yy.zz.228 URI:/BankApp/org.Bank.Main/sc/modules/ ISC_Grids.js
11238.439 25.07.2012 11:50 Erfolg user1 REMOTE_WEB xx.yy.zz.228 URI:/BankApp/org.Bank.Main/sc/modules/ISC_Forms.js
10535.141 25.07.2012 11:50 Erfolg user1 REMOTE_WEB xx. yy.zz.228 URI:/BankApp/org.Bank.Main/sc/modules/ISC_DataBinding.js
10003.115 25.07.2012 11:55 Erfolg 匿名 REMOTE_WEB xx.yy.zz.25 URI:/BankWebService/BankOrderService
9999.412 25.07.2012 11:49 Erfolg 匿名 REMOTE_WEB xx.yy.zz.25 URI:/BankWebService/BankOrderService
9999.229 25.07.2012 11:55 Erfolg 匿名 REMOTE_WEB xx.yy.zz.25 URI:/BankWebService/BankOrderService
9992.415 20107.25 11:49 Erfolg 匿名 REMOTE_WEB xx.yy.zz.25 URI:/BankWebService/BankOrderService
9990.473 25.07.2012 11:55 Erfolg 匿名 REMOTE_WEB xx.yy.zz.25 URI:/BankWebService/BankOrderService
9132.848 25.07.2012 11:55 Erfolg user1 REMOTE_WEB xx.yy.zz.228 URI:/BankApp/org.Bank.Main/gwtservice
5933.174 25.07.2012 11:50 Erfolg user2 REMOTE_WEB xx.yy.zz.162 URI:/BankApp/org.Bank.Main/sc /modules/ISC_Grids.js
5864.426 25.07.2012 11:50 Erfolg user2 REMOTE_WEB xx.yy.zz.162 URI:/BankApp/org.Bank.Main/sc/modules/ISC_Core.js
5571.739 25.07.2012 11:50 Erfolg user2 REMOTE_WEB xx.yy.zz .162 URI:/BankApp/org.Bank.Main/sc/modules/ISC_DataBinding.js
5473.637 25.07.2012 11:50 Erfolg user2 REMOTE_WEB xx.yy.zz.162 URI:/BankApp/org.Bank.Main/sc/ modules/ISC_Forms.js
5158.104 25.07.2012 11:50 Erfolg user3 REMOTE_WEB xx.yy.zz.237 URI:/BankApp/org.Bank.Main/gwtservice
4488.047 25.07.2012 11:50 Erfolg user2 REMOTE_WEB xx.yy.zz. 162 URI:/BankApp/images/chf.jpg
4442.574 25.07.2012 11:56 Erfolg user2 REMOTE_WEB xx.yy.zz.162 URI:/BankApp/org.Bank.Main/sc/modules/ISC_Core.js
4072.268 25.07.2012 11:54 Erfolg 匿名 REMOTE_WEB xx.yy.zz.25 URI:/BankWebService/BankOrderService
3939.546 25.07.2012 11:56 Erfolg user2 REMOTE_WEB xx.yy.zz.162 URI:/BankApp/org.Bank.Main /sc/modules/ISC_Grids.js
3876.443 25.07.2012 11:50 Erfolg user1 REMOTE_WEB xx.yy.zz.228 URI:/BankApp/org.Bank.Main/sc/modules/ISC_Foundation.js
3727.795 25.07.2012 11:50 Erfolg user4 REMOTE_WEB xx.yy.zz.162 URI:/BankApp/org.Bank.Main/gwtservice
3630.225 25.07.2012 11:48 Erfolg user4 REMOTE_WEB xx.yy.zz.162 URI:/BankApp/org.Bank.Main/ 091FF14E7C1D1187C770833D67B13321.cache.html
3552.007 25.07.2012 11:50 Erfolg user5 REMOTE_WEB xx.yy.zz.228 URI:/BankApp/org.Bank.Main/gwtservice
セッション
18 個のアクティブなセッション
クライアント ログイン (glassfish、https によって提供) の後、ユーザーが Glassfish によって認証されると、アプリケーション自体に 2 回目のログインがあり、ユーザーはログインするブランチを定義する必要があります。2 回目のログイン後、3 つの属性 (ユーザー名、ブランチ、IP アドレス) がセッションに保存されます。
これら 3 つの属性を持たないセッションは常に約 40% ～ 50% あります。私は、最初のログインは行われたが 2 番目のログインは行われなかったと解釈しています。
例: セッション id:e6df980ab67cf0456d78761eefa1
3 つの属性のない 8 つのセッション
セッション id:d72d16bdabb5500e73f721475440:{username=user1, branch=000x, ipadr=xx.xx.xx.xx}
3 つの属性を持つ 10 セッション
この 8 つのセッションはハッカーによるものではないでしょうか? 疑わしい IP アドレスがあるかどうかを確認するために、wireshark を実行しましたが、多くは見つかりませんでした。ある日、スウェーデンから ip があり、スウェーデンには何もありませんでした。ただし、これは大量のトラフィックではなく、wireshark のキャプチャ ログに数秒間数行しか記録されていませんでした。
at 7/17/2012 ユーザーの 1 人の msn アカウントがハッキングされました。
その頃、問題も同様に始まりました。1～2日遅れる場合があります。
一致？
どんな助けでも大歓迎です。