問題タブ [utilization]

プログラムについての短い:

これは私の最初のプログラムであるため、最良かつ最も効果的にプログラムされたパスではありませんが、機能し、仕事をします。設計管理としてのプログラムの diehnt。約3000点のデザインを手掛ける。グループごとに並べ替えることができ、scrollPane コンテナーに生成されます。各デザインには特定の番号が表示され、20 ～ 30 kb の小さなプレビューとスタイル名も表示されます。これらのデザインは、さらに詳細にフィルタリングしたり、印刷したり、電子メールで送信したりすることができます。

付録には、アプリケーションのスクリーンショットがいくつかあるので、想像できるものは何でも含めてください。プログラムは XDEV を使用してプログラムされています。

問題＃1：

scrollPane に表示されるのは約 200 のデザインのみで、それ以上はめくる必要があります。scrollPane が一度空になり、dan のデザインで補充されたとします。問題は、画像の読み込みに時間がかかりすぎることです。SQL クエリと、デザインが表示されるコンテナーの生成には、約 500 ミリ秒かかります。ただし、画像が読み込まれるまで、約 5 秒かかります。写真は外部サーバーにあり、ネットワーク経由でダウンロードされます。専用回線があり、インターネットの速度には嘘をつきません。

画像をプログラムにロードし、ショーを約 1 ～ 2 秒で完全に充電する最速の方法は何ですか?

問題＃2：

プログラムがシステム パフォーマンスを過度に消費します。SQL クエリのボタンを押すと、コンテナの生成とイメージのロードが開始され、システム使用率が一時的に 90 ～ 100% に上昇します。通常の PC の場合は必ずしも問題ではありませんが、プログラムがターミナル サーバーで実行されており、システムの容量使用率が増加すると大きな問題が発生します。私が述べたように、プログラムを始めたばかりで、ウィンドウ自体のメインスレッドが生成されている単一のスレッドですべてを実行しても、なぜまだ見栄えがするのかわかりません。

検索でシステム パフォーマンスがわずかに増加するだけ、つまり 10% 未満になるのを防ぐにはどうすればよいですか? 画像の読み込みと SQL クエリを別のスレッドで行うと役に立ちますか? または、どうすればこれを最もよく解決できますか？

みんな。私は本当にこのことを知る必要があります。最新のマルチコア サーバーで CPU 使用率を高めることで消費電力を削減することは可能ですか?また、それが可能な理由は?

私は、7 つのフィードのニュースレターを提供する Web サイトを持っています。すべてのユーザーには独自のニュースレター フィルターがあるため、ユーザーごとに 7 つのクエリを実行する必要があります。

また、特定のフィードが読み込まれると、フィードのすべてのアイテムが user_history テーブルに追加されます。このアイテムがこのユーザーに送信されたことを知り、再度送信しないでください。

それは別の 7 つのクエリです。

INSERT-SELECT クエリを実行するため、さらに 7 つです。すべてのアイテムを反復処理してクエリを作成するわけではありません。

その後、電子メール メッセージを生成します。これもデータベースに保存され、ユーザーに送信されます。

つまり、ユーザーあたり少なくとも 15 クエリです。すべてのサブスクライバーに通知するのに約 25 分かかります。

現在、2500 人のユーザーがいますが、すぐにさらに 6000 人を登録する必要があります。私はこれがどのように機能するかについてまったく心配しています。

これは、Kohana PHP Framework を使用するアプリです。

ニュースレター タスクを実行したときのサーバーの htop ビデオがあります - https://youtu.be/9VnkXVS51j4

ここで奇妙なことに、コア 1 は 100% ロードされていますが、コア 2 はロードされていません。

ここに何か提案はありますか？より多くのコアが必要ですか?

すべての電子メール メッセージを生成してデータベースに保存する何らかのメカニズムを考えています。このメッセージの生成は、負荷が低い時間帯 (午前 2 時など) に行ってほしいと思います。また、負荷を 100% にするタスクを実行して、サーバーに火をつけたくありません。やさしくやってほしい。

一晩ですべてのメッセージが生成されたら、すべてのメールをサブスクライバーに送信する cron ジョブを実行します。

誰でもそれで私を助けることができますか？

現在、Hadoop (Titan バージョン 0.5.4、Hadoop バージョン 2.6.0) を使用して Titan グラフにデータをロードする作業を行っています。同じハードウェアのより多くのマシンで完全なクラスターに拡張する目的で、単一サーバー (疑似分散型) Hadoop クラスターを使用しています。コアを完全に使用できるように Hadoop をセットアップしようとしています。これまでは、適切な構成パラメーターを使用して適切なセットアップを行っていましたが、Hadoop が実行されて Titan グラフにデータが読み込まれると、マシンのすべてのコアが完全に使用されていることがわかりません。

状況は以下の通りです。私が使用しているマシンのハードウェア仕様は次のとおりです。

• CPU: 32 コア
• メモリ: 256GB
• スワップメモリ​​：32GB
• ドライブ: 8x128GB SSD、4x2TB HDD

Hadoop を使用して Titan グラフに読み込んでいるデータの仕様は次のとおりです。

• 合計サイズ: 848MB
• 4 つのファイル (487MB、142MB、219MB、および 1.6MB) に分割されます。各ファイルには、すべての頂点プロパティおよび出力エッジと共に、1 つのタイプの頂点が含まれます。

Hadoop クラスターをセットアップするときに、Hadoop の構成パラメーターを (私が思うに) 最適な設定に設定するための論理的な推論を使用しようとしました。以下の理由を参照してください。

• 私のマシンには 32 個のコアがあるため、理論的には入力サイズをチャンクに分割することができ、そのサイズは最終的に約 32 個のチャンクになるのに十分な大きさです。したがって、848MB の入力の場合、dfs.block.size32MB に設定すると、約 (848MB / 32MB ~ ) 27 チャンクになります。
• 各マップ タスクが確実に 1 つのチャンクを受け取るようにするために、 の値をmapred.min.split.sizeブロック サイズより少し小さく、ブロック サイズより少し大きく設定しmapred.max.split.sizeます (たとえば、それぞれ 30MB と 34MB)。
• タスクごとに必要な利用可能なメモリは、私には少しあいまいです。たとえば、各タスク (各マッパー/リデューサーなど) に 1GB のメモリを与えるためmapred.child.java.optsに、値を に設定できます。-Xmx1024m私のマシンには合計で 256 GB のメモリがあり、その一部を他の目的のために予約するために差し引くと、約 200 GB のメモリが残るため、合計で (200 GB / 1 GB = ) 200 のマッパーとリデューサーが必要になる可能性があります。または、各タスクに 2GB のメモリを割り当てると、合計 100 のマッパーとリデューサーが必要になります。各タスクに割り当てられるメモリの量も、入力サイズに依存すると思います。とにかく、これは約 100 の値につながります。これは、mapred.tasktracker.map/reduce.tasks.maximumコアが 32 個しかないという事実を考えると、すでに多すぎる可能性があります。したがって、このパラメータを両方とも 32 に設定したmapほうがよいのでreduceはないでしょうか? どう思いますか？

これらの仮定の後、次の構成になります。

hdfs-site.xml

mapred-site.xml

ヤーンサイト.xml

これらの設定で Hadoop を実行しても、1 台のマシンでコアを完全に使用することはできません。すべての MapReduce フェーズで、すべてのコアがビジーであるとは限りません。Hadoop の実行中に、iostatコマンドを使用して IO スループットも調べました ( iostat -d -x 5 35 秒間隔で 3 つのレポートが表示されます)。このようなレポートのサンプルを以下に示します。

私はディスク使用率の専門家ではありませんが、これらの値は、ディスクsdb、sbc、またはsddなど、どこかで IO バインドされていることを意味するのでしょうか?

編集: コマンドを使用すると、CPU 使用率と IO スループットをより適切に示すことができますsar。以下は、5 件のレポート、5 秒ごとの結果です ( sar -u 5 5):

返信ありがとうございます。

特にディスクの読み書き使用率が知りたい 読み書き使用率か書き込み使用率しか分からない

ディスクの読み取りのみまたは書き込みのみの使用率を確認する方法 (進行状況は、読み取り + 書き込み作業で構成されます)

私は Rancher を数週間使用していますが、コンテナの使用率統計を取得できたことはありません。そこに座って、接続中と言っています...

使用率の統計は、ホストでは機能しますが、コンテナーでは機能しません。

Rancher エージェントはホストと同じマシン上にあるため、-e CATTLE_AGENT_IP=192.168.0.202 (ホストとエージェントの IP) を指定して起動しましたが、何もしません。

また、2 台目のサーバーで Debian VM を使用してみましたが、同じ問題が発生しました。

しかし、私の個人用マシンで Windows docker クイックスタート ターミナルを実行し、それをエージェントとして使用すると、奇妙に機能しました。

管理されたネットワークを選択するか、ブリッジするかを問わず、同じことが起こります。

私は何週間も探しましたが、確かな答えが見つかりませんでした。

ホスト マシン情報:

Docker クイックスタート ターミナル (機能するもの)

ランチャー連絡窓口

部屋の使用率 (使用時間/使用可能時間) をデータ ダンプから測定しています。各行には、その日の利用可能な時間と、特定のケースに使用された時間が含まれています。画像はデータの簡易版です。

黄色と緑色のハイライト (Room 1) を読むと、次のようになります。

• ルーム 1 には、2016 年 1 月 1 日に 200 分の空き時間があります。
• ケース 1 は 60 分、ケース 2 は 50 分かかりました。
• 2016 年 1 月 2 日に利用可能な時間は 500 分で、その日に発生したケースは 1 つだけで、350 分を使用しています。

Room 1 utilization = (60 + 50 + 350)/(200 + 500)

利用可能な時間を合計する際の問題は、2016 年 1 月 1 日の 200 分が二重にカウントされることです。Utilization = (60+50+350)/(200+200+500)

このデータには何百もの行があり (行数が異なる複数のデータ ダンプが存在します)、毎日複数のケースが発生します。ピボット テーブルを使用しようとしていますが、特定の部屋の「平均の合計」を取得できません (画像を参照)。マクロを使用して、総計列から数値を引き出しています。

これは可能ですか？使用率を得る別の方法はありますか? (注: データには、ケースの開始、ケースの終了、曜日など、この計算では使用されないが利用可能な他の列が多数あります)

XAMPP で MySQL (InnoDB) データベースを実行しています。テーブル（〜1,1M行）に対して多くの異なる高価なクエリを作成し、非常に長い時間がかかったため、それらを何度もキャンセルしました...

今すぐ MySQL を起動すると、ディスク使用率はすぐに 100% になり、減少しません。以前にキャンセルされたクエリがキューに入れられ、現在バックグラウンドで実行される可能性はありますか?

show processlist;実行中のプロセスが表示されません...

何か案は？前もって感謝します！

更新: mysql-error.log の一部

これは問題かもしれません...しかし、それを解決するにはどうすればよいですか？