mysql - 分析用の mySQL データベースのログ ファイルのクエリ

Question

mySQL データベースのログ ファイルがあり、そのログ ファイルを分析 (データ マイニング、機械学習など) に使用したいと考えています。

その方法を教えてもらえますか？

Answer 1

要件に応じて役立つツールがいくつかあります。

しかし、DB ではなく MySQL ログを直接使用したり、検索している詳細をユーザーがインターフェースを操作するときに DB 内の新しい「情報マイニング」テーブルに移動したりする必要はありません。どちらがはるかに強力になる可能性があります

挿入/クエリのレートを決定したい場合。これらのタイプのイベントを別のファイルに記録するように MySQL を実際に設定できます (したがって、すべてのイベントの完全なログ ファイルをマイニングするのではなく、一部の作業は既に完了しています)。それ以外の場合は、Grep などのツールを利用する必要があります。

その上に、データをマイニングしてキーワードを検索する Lucerne (Apache から) というシステムがあります。Java や C などに移行するためのさまざまなフックがあります。Google が Web ページをトロールする方法と非常によく似ています。

それ以外の場合、データベース内のデータをマイニングする場合、ログは明らかに最適なポイントではありません。

ログには、ユーザーに関する多くの情報も含まれます。IP アドレスはもっと扱いにくいかもしれませんが、クエリを実行しているユーザーの名前と一般的なサーバー ログを相互参照して、接続の IP を特定することができます。