問題タブ [mysql-cluster]

データベースの目的で MySQL 5.6 InnoDB エンジンを使用します。現在、そのインスタンスは 1 つしかありませんが、アプリケーションが成長するにつれて、データベースをクラスター モードにしたいと考えています。今までやってきたこと：

MySQL NDB クラスター 7.3.1 (ラボ バージョン) を試しましたが、まだ外部キーの問題に直面しており、信頼性がないように思われるため、次のオプションを試しました。

DRBD、ペースメーカー、corosync を使用して mysql アクティブ/パッシブ クラスタリングを試しました。2 つのノードですべて正常に動作します。

今、私たちは Mysql のアクティブ/アクティブ クラスタリングを実行したいと考えています。Google で何度も検索した後でも、その情報を見つけることができません。DRBD で実行できますか、それとも他の方法で実行できますか。

助けてください ！！！！！

今日、私のデータセンターでブレーカーが故障し、サーバーの電源が失われました。4 ノードの MySQL クラスターを実行しています。クラスタを再起動しました。最初に管理ノード、次にデータ ノードを起動し、データ ノードが実行された後に SQL ノードを起動しました。次に、ndb_mgm -e SHOW でクラスターを確認しました。クエリを実行してみるまでは、すべて問題ないように見えました。このエラーが発生しました。

エラー 1296 (HY000): NDBCLUSTER からエラー 157 '不明なエラー コード' を受け取りました

MySQL ログを確認しましたが、エラーは見つかりませんでした。次に、MySQL クラスターの完全なシャットダウンと再起動を試み、シャットダウンと起動の間の構成を確認しました。すべてがチェックアウトされたようです。次に、NDBCLUSTER エンジンを使用して、別のデータベースでクエリを実行しました。クエリは成功しました。私はグーグルを検索しようとしましたが、誰も助けになる答えを持っていないようです。構成を確認し、ndbd がデータ ノードで実行されていることを確認しました。このデータベースを除いて、他のデータベースは正常に動作しているようです。データベースのバックアップはありますが、可能であればデータベースを復元したいと考えています。

誰かに提案やアイデアがあれば、大歓迎です。

前もって感謝します。

次のように、Mysqldump でバックアップを取得し、mysql で復元することにより、同じインスタンスで Mysql Cluster (ClusterDB) データベースのクローンを作成しようとしています。

ただし、復元中にエラーがスローされます。

ERROR 1192 (HY000) at line 112: アクティブなロックされたテーブルまたはアクティブなトランザクションがあるため、指定されたコマンドを実行できません

ヘルプ..? ありがとう。

私はこのチュートリアルに従いましたが、うまくいきました。showこれは、 ndb_mgm クライアントで編集したときに得られるものです。

それはいいです。

次に、管理ノードの config.ini でNoOfReplicas=1を変更し、すべてのノードを再起動しました。

これによると、2 つのノードグループが予想されます。

[number_of_node_groups] = number_of_data_nodes / NoOfReplicas

showしかし、ndb_mgm クライアントのコマンドで同じ出力が得られます。

私は何か間違ったことをしていますか？ご意見をお聞かせください。

前もって感謝します。

このリンクに記載されているディスク ベースのテーブルを作成しようとしています。ただし、 と のINITIAL_SIZEフィールドのサイズの選択は明確ではLOG FILE GROUPありませんTABLESPACE。LOG FILE GROUP読み取りから、トランザクションベースの操作に必要である ことがわかりました。INITIAL_SIZEコミットログのサイズを定義するために使用されます。

ただし、ファイルが事前に定義されている場合、それは mysql テーブルに最大 Mb の行を含めることができることを意味しますTABLESPACEか?INITIAL_SIZE.datINITIAL_SIZE

注:構文にはAUTOEXTEND_SIZE&EXTEND_SIZEがありCREATE TABLESPACEますが、現在は無視されているようです。

その場合、mysql クラスターで動的サイズのディスク テーブルを定義するにはどうすればよいですか?

さらに処理するために、クエリ結果を一時テーブルに保存しようとしています。

しかし、何らかの理由で挿入には最大 1 分かかりますが、副選択だけでは数秒しかかかりません。データを SQL 管理ツールの出力に出力するのではなく、一時テーブルに書き込むのに時間がかかるのはなぜですか?

UPDATE マイ セットアップ: 8 つの Debian Linux ndb データ ノードを備えた MySQL 7.3.2 クラスター 1 つの SQL ノード (Windows Server 2012)

選択を実行しているテーブルはndbテーブルです。

「insert into ..」を使用すると実行計画が異なるかどうかを調べようとしましたが、同じように見えます:(書式設定について申し訳ありませんが、stackoverflowにはテーブルがありません)

CREATE TABLE ... SELECT も遅いです。47 秒 vs. テーブルの挿入/作成なしの 5 秒。

次のように、テーブル (innodb または ndb) から 300,000 行を ndb テーブルに移動するとします。

ndb は、完了するまで、ますます膨大な量のデータ メモリを使用します。ビフォー/ピーク/アフターは以下の通り

私の計算が正しければ、10293 - 5752 = 4541 = 142 MBを挿入しますが、メモリは 164013 - 5752 = 158261 = 4945 MB急増します

また、挿入を 50,000 行に制限し、前後の差が 3MB だけの場合、スパイクは 780MB でした。

明らかに、これは ndb が空でない場合に問題になります...ここで何が起こっているのですか?!

Amazon サーバーの crontab で +200 万の mysql クエリ (インデックスを使用した 1/2 選択ステートメント、2 つの varchar(25)、int(5) 列の 1/2 行挿入) を作成する php-cli スクリプトがあります。スクリプト自体の実行には数時間かかります。5分以内にまとめたいです。

行の挿入をスケールアップして時間を短縮するにはどうすればよいのだろうか? )))

私はmysqlクラスターを見てきましたが、データウェアハウジングなどについては何も知りません.これが探し始めるのに適切な場所であるかどうか誰か知っていますか? Hive/Hadoop のようなものがより適切でしょうか?

--edit 私はコンテキストのために ec2 マイクロインスタンスを使用しています。より負荷の高いインスタンスへの移行が必要になると予想していますが、普通の古い mysql デーモンに代わる mysql のような代替手段があるかどうか疑問に思っています。

2 つのデータノード、1 つの mgmt 、および 2 つの SQL ノードを備えた、ディスク ベースのテーブルを使用してクラスターをセットアップしました。

クラスターは正常に動作しています...その HA をテストしたかったので、Linuxプロンプトで KILL コマンドを使用して1つのデータノードを手動で強制終了し、SQLノードに接続していくつかのレコードをテーブルに挿入しました。

次に、このコマンドで殺したデータノードを開始しようとしました

--initial を使用せずに bin/ndbd

managmnt ノードのログを見ると、以下のエラーが表示され、データ ノードが起動していません。

/ノード 3: ノードの強制シャットダウンが完了しました。startphase 5 中に発生しました。エラー 2355 が原因でした: 「スキーマの復元に失敗しました (リソース構成エラー)。永久エラー、外部アクションが必要です。

しかし、 --initial を使用すると、最初からクリーン スタートを実行することになります (100G の場合は、すべてのデータ ファイルをコピーするのに時間がかかります)。

しかし、データノードが停止した（殺された）時点からレコードのコピーを開始するようにしたい

どうすればいいですか？