問題タブ [logfile]

私は再び:P私はいくつかのバットファイル、そのバットファイルにいくつかの問題があり、リモートフォルダーに接続してftpし、リモートフォルダーからすべてのファイルをダウンロードしてから削除しますが、私の問題/質問は:すべてのファイルのtxt(ログ)が必要ですリモートサーバーからダウンロードする前に、ここに私のファイルがあります

バットファイル:

txtファイル

この行で >>mylog.txt を使用する場合:

欲しくない余分なデータを取得します。ダウンロードする前に、次のようなファイル名が必要です。

log.txt

Ps:私の英語でごめんなさい;)

server.xml ファイルで以下のコードのコメントを外して、jboss サーバーでアクセス ログを有効にしています。

アクセスログは日々発生しています。アクセス ログ ファイルで get メソッド リクエストを確認できますが、post メソッド リクエストを確認できません。jboss のサーバー アクセス ログ ファイルでポスト メソッド リクエストの詳細をキャプチャするにはどうすればよいですか。

前もって感謝します ！

MySQLServer5.5をWindowsServer2008 R2に2か月前にインストールしましたが、現在は機能しています。しかし、突然MySQLサービスがダウンし、サービスを再開できなくなりました。エラーメッセージ：

この問題を解決するにはどうすればよいですか？

DB2で巨大な挿入クエリを試しました。INSERT INTO MY_TABLE_COPY（SELECT * FROM MY_TABLE）;

その前に、私は以下を設定しました：

そして私はこのエラーを受け取りました：

助言がありますか？

定期的に 30 GB を超える mysql ログ ファイルがありますが、このファイルが原因でサーバーがいっぱいになっていることに気付いた場合、これは最悪です。このファイルを約 1 GB に制限するための簡単な解決策が必要です。それほど長く実行されるログは必要ありません。今後はこの問題を回避したいと考えています。

何か案は？ありがとう

PowerShell を使用して IIS ログを確認していますが、ログ ファイルごとに 500 個のエラーをカウントする必要があります。

私は使用しました：

しかし、これはすべてのファイルの合計数を取得します。各ファイルの数が必要です。

何か案は？

javaを使用してログファイル（abc.log）を読み取ることは可能ですか？

ログファイルから特定の文字列が必要です。

これが私のログファイルの内容だとしましょう。タイムスタンプのみ（例：05：08：37）が必要で、コンソールに印刷します。

Apache ログを読み込んで処理しようとしています。そのように私を参照するログ行を含む文字列分割関数を使用します。それらの行を削除したい。以下のコードは、私が持っていることを示しています。「127.0.0.1」のみが削除されますが、すべての「192.168.1.x」行が表示されます。

すべての分割文字列を削除するにはどうすればよいですか?

このタスクは、完成した研究プロジェクトから大量のログファイル (約 8 TB) をフィルタリングして分析することです。アイデアは、データベースにデータを入力して、後でさまざまな分析タスクを実行できるようにすることです。

値はカンマ区切りで保存されます。原則として、値は最大 5 つの値のタプルです。

MySQL を使用する最初の試みでは、行ごとに 1 つのログ エントリを持つ 1 つのテーブルを使用しました。したがって、ログ値の間に直接的な関係はありません。ここでの欠点は、サブセットのクエリが遅いことです。

関係がないため、NoSQL データベースなどの代替手段を調べたところ、hbase や cassandra などの列ベースのテーブルがこの種のデータに最適であると思われました。しかし、これらのシステムは、私たちが持っていない巨大な分散システム用に作られています。この場合、分析は単一のマシンまたはおそらくいくつかの VM で実行されます。

このタスクに適したデータベースはどれですか? hadoop+hbase を使用して単一のマシン インスタンスをセットアップする価値はありますか?

高パフォーマンスのログファイル分析を行うためにどのデータベースを選択しますか?

編集:クラウド サービスや新しいハードウェアにお金を使うことができないということは、私の質問から外れているかもしれません。問題は、mySQL の代わりに noSQL アプローチを使用する利点があるかどうかです (特にこのデータの場合)。何もない場合、または非常に小さいため、noSQL システムをセットアップする労力に見合わない場合は、ESXi インフラストラクチャと MySQL を使用できます。

EDIT2:私はまだここで問題を抱えています。MySQL でさらに実験を行い、利用可能なすべてのデータの 4 分の 1 を挿入しました。挿入は現在 2 日以上実行されており、まだ完了していません。現在、私の単一テーブル db には 2,147,483,647 行あります。インデックスを使用すると、211,2 GiB のディスク容量が必要になります。そして、これはすべてのログ データのわずか 4 分の 1 です...次の形式のクエリ

完了するまでに 761 秒かかり、この場合は 1 行が返されます。タイムスタンプ、ログ ID、ユニットを組み合わせたインデックスがあります。

分析の後半で、時間範囲内のすべてのエントリを取得し、データポイントを比較する必要があるため、これは進むべき道ではないと思います。

私はMongoDBとRedisについて読みましたが、それらの問題は、それらがメモリデータベースにあるということです。

後の分析プロセスでは、非常に少量の同時データベース アクセスが発生します。実際、分析は 1 台のマシンから実行されます。冗長性は必要ありません。障害が発生した場合は、データベースを再生成できます。データベースが完全に書き込まれると、さらに行を更新または追加する必要もありません。

Redis、MongoDB などの代替手段についてどう思いますか。これを正しく行うと、データの次元で RAM が必要になります...このタスクは、単一ノード システムまたは 2 つのノードで何とか可能ですか?

次のように、mysql コマンド ライン ツールから SQL スクリプト ファイルを実行したいと思います。

ここで、スクリプトscript.sqlには、出力をファイルにリダイレクトするステートメントが含まれています。

次のようにスクリプトにティーを配置することで、これが可能になるはずだと思いました。

残念ながら、これは機能せず、script.logは表示されません。

出力をスクリプト自体からファイルにリダイレクトする可能性はありますか?

ユースケース: これらのスクリプトは、アプリケーションのデプロイ時にサービス部門によって実行されます。彼らはできるだけ少ない手順と労力でスクリプトを実行したいと考えているため、コマンド プロンプトの最後にリダイレクト ( > script.log ) を配置することは現実的なオプションではありません。一度。

前もってありがとう、マイケル