問題タブ [binlog]

数日前に発生したイベントのために Web アプリケーションをデバッグする必要がありましたが、手元にあるのは MySQL レプリケーション バイナリログ (ステートメント レプリケーション) だけです。Web アプリケーションがマスターで実行されていたのとまったく同じ SQL クエリであるとして、それらを信頼できますか?

私たちのアプリケーションは 1 つのテーブルの単一の行に対して多くの更新を行っていますが、それらは常にUPDATE y SET x = x + 1 ...or x = x - 2、 neverなどのクエリUPDATE y SET x = 23 ...であり、binlog では多くのx = 23種類の更新が見つかりました。厳密に UPDATE クエリを割り当てるものは、実際にはレプリケーション メカニズムによって作成されているのでしょうか?

MySql binlog を読んでいる場合、同じトランザクションでどのステートメントが発生したかを知ることはできますか?

特定の mysql インスタンスの binlog のリストをプログラムで取得するにはどうすればよいですか? すなわち。によって提供される同じ情報

更新: バージョン 5.6 / AWS Aurora 優先。

MariaDB のMaxscale( BinLog Server ) を使用して、MySQL Cluster から単一のBinLog Serverに bin ログを中継できることを読みましたが、別の MySQL Cluster からすべての bin ログを収集して永続化できるかどうかを知りたいと思いました。単一のBinLog サーバーであり、mysql スレーブはそこから読み取っていません。可能であれば、異なる MySQL Cluster での同じデータベース名などの競合はどのように処理されますか?

Spark Streaming を使用して kafka から binlog データを読み取りたいのですが、binlog データはcanal (protobuf-2.4.1 を使用) を使用して収集されます。Spark Streaming 環境で protobuf-2.5.0 を使用する必要があります。今、私は次の例外を得ました

16/07/11 15:13:01 ERROR yarn.ApplicationMaster: User class threw exception: org.apache.spark.SparkException: Job aborted due to stage failure: Task 0 in stage 0.0 failed 4 times, most recent failure: Lost task 0.3 in stage 0.0 : java.lang.RuntimeException: Unable to find proto buffer class at com.google.protobuf.GeneratedMessageLite$SerializedForm.readResolve(GeneratedMessageLite.java:775) at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) at java.lang.reflect.Method.invoke(Method.java:606) at java.io.ObjectStreamClass.invokeReadResolve(ObjectStreamClass.java:1104) at java.io.ObjectInputStream.readOrdinaryObject(ObjectInputStream.java:1807) at java.io.ObjectInputStream.readObject0(ObjectInputStream.java:1350) at java.io.ObjectInputStream.readObject(ObjectInputStream.java:370) at com.data.binlog.BinlogEntryUtil.deserializeFromProtoBuf(BinlogEntryUtil.java:30) at main.com.data.scala.Utils$.binlogDecode(Utils.scala:30) at main.com.data.scala.IntegrateKafka$$anonfun$main$4.apply(IntegrateKafka.scala:37) at main.com.data.scala.IntegrateKafka$$anonfun$main$4.apply(IntegrateKafka.scala:37) at scala.collection.Iterator$$anon$11.next(Iterator.scala:328) at main.com.data.scala.IntegrateKafka$$anonfun$main$5$$anonfun$apply$2$$anonfun$apply$3.apply(IntegrateKafka.scala:42) at main.com.data.scala.IntegrateKafka$$anonfun$main$5$$anonfun$apply$2$$anonfun$apply$3.apply(IntegrateKafka.scala:42) at org.apache.spark.Logging$class.logInfo(Logging.scala:59) at main.com.data.scala.IntegrateKafka$.logInfo(IntegrateKafka.scala:16) at main.com.data.scala.IntegrateKafka$$anonfun$main$5$$anonfun$apply$2.apply(IntegrateKafka.scala:42) at main.com.data.scala.IntegrateKafka$$anonfun$main$5$$anonfun$apply$2.apply(IntegrateKafka.scala:39) at org.apache.spark.rdd.RDD$$anonfun$foreachPartition$1$$anonfun$apply$29.apply(RDD.scala:898) at org.apache.spark.rdd.RDD$$anonfun$foreachPartition$1$$anonfun$apply$29.apply(RDD.scala:898) at org.apache.spark.SparkContext$$anonfun$runJob$5.apply(SparkContext.scala:1850) at org.apache.spark.SparkContext$$anonfun$runJob$5.apply(SparkContext.scala:1850) at org.apache.spark.scheduler.ResultTask.runTask(ResultTask.scala:66) at org.apache.spark.scheduler.Task.run(Task.scala:88) at org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:214) at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145) at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615) at java.lang.Thread.run(Thread.java:745) Caused by: java.lang.ClassNotFoundException: com.alibaba.otter.canal.protocol.CanalEntry$Entry at java.net.URLClassLoader$1.run(URLClassLoader.java:366) at java.net.URLClassLoader$1.run(URLClassLoader.java:355) at java.security.AccessController.doPrivileged(Native Method) at java.net.URLClassLoader.findClass(URLClassLoader.java:354) at java.lang.ClassLoader.loadClass(ClassLoader.java:425) at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:308) at java.lang.ClassLoader.loadClass(ClassLoader.java:358) at java.lang.Class.forName0(Native Method) at java.lang.Class.forName(Class.java:191) at com.google.protobuf.GeneratedMessageLite$SerializedForm.readResolve(GeneratedMessageLite.java:768) ... 29 more

コード com.data.binlog.BinlogEntryUtil.deserializeFromProtoBuf はこちら

しかし、私は自分の瓶に CanalEntry$Entry.class を見つけました

-rw---- 2.0 脂肪 14431 bl defN 16-Jul-11 15:11 com/alibaba/otter/canal/protocol/CanalEntry$Entry.class

CanalEntry.javaとCanalPacket.javaを使用して生成しようとしprotoc-2.5.0ましたが、同じ例外が発生しました。java.lang.ClassNotFoundException: com.alibaba.otter.canal.protocol.CanalEntry$Entry

protobuf-2.4.1を使用して binlog データ (によってシリアル化された) を読み取るための提案を誰かに教えてもらえますprotobuf-2.5.0か? ありがとう

Sphinx (2.0.4) を約 4 年間使用してきましたが、最近 (1 か月前など)、検索が 1 時間に 1 回停止するようになりました。

夜中にすべてのデータの大きな更新がありますが、問題はありません。次に、1 時間ごとに 1 回インデックス作成を実行します。これにより、通常、インデックスに 20 ～ 30 行が追加されます。

したがって、1 時間に 1 回実行される cronjob があります。

結果は次のようになります (searchd.log) が、70000 行の binlog 再生 (1560 binlog ファイル) が空のように見えます。

でも今はこんな感じ

2分のギャップに注意してください。

cronjob ログは次のようになります。

1 か月前とは異なり (何も変わっていません)、searchd の再起動には 2 ～ 3 分かかるようです。また、終了コード 0 は、stopwait または searchd の起動中にエラーが発生したことを意味します。

それらのバイナリログが作成される原因を見つけることができないようで、どこを見ればよいかわかりません。何が問題なのかわかりますか？問題の詳細を調べるために見なかったログは?

ありがとう

shyikoコネクタを使用して、bin ログの変更を mysql クラスターからダウンストリーム データベース システムにストリーミングしています。

クラスタ = MySQL マスター + プライマリ スレーブ + セカンダリ スレーブ

リッスンしている MySQL システムが何らかの理由でダウンした場合、メカニズムはスレーブをマスターとして昇格させ、通常どおり続行することです。しかし、問題は、bin ログ ファイルと位置が、障害が発生したマシンと新しく昇格したスレーブ mysql とで完全に異なることです。

両方のマシンのコミット ログ間で考えられる唯一の共通点は、タイムスタンプです。mysqlbinlog ユーティリティにも、--start-datetimeオプションを使用してタイムスタンプを設定する機能があります。

特定のタイムスタンプを使用して mysql bin ログの位置を見つける方法はありますか? 上記のライブラリは特定の位置のみを使用でき、タイムスタンプは使用できないためです。そうでない場合、それを達成するためにどのように進むべきですか。

AWS RDS で MySQL を実行しています。次のエラーが原因で、スレーブ レプリケーションがスタックしています。スレーブサーバーのテーブルでレコードを見つけることができないと表示されています...どのレコードかを知る方法はありますか? または失敗しているSQL！

リード レプリカ レプリケーション エラー - SQLError: 1032、理由: テーブル customers.visitor で Update_rows_v1 イベントを実行できませんでした。「訪問者」にレコードが見つかりません。Error_code: 1032; ハンドラー エラー HA_ERR_END_OF_FILE; イベントのマスター ログ mysql-bin-changelog.206572、end_log_pos 12627388