問題タブ [logfiles]

マルチスレッドアプリケーションのログファイルがあります。各行にはよく知られている形式があります（たとえば、3番目のフィールドはスレッドIDです）。フィールドの1つはスレッドIDです。私は車輪の再発明を試みていないことを願っています:)

とにかく、ファイルを読みやすくするために、私は役立つ2つのオプションを考えました。

1. 現在の行と同じスレッドIDを持つすべての行を強調表示します。

2. いくつかのキーストロークを押すと、他のスレッドIDを持つすべての行が折りたたまれ、もう一度キーストロークを押すと行が展開されます。

両方のアイテムのスケルトンを歓迎します。

2011-04-13 00：09：07,731情報[STDOUT]04/1300:09:07情報...

やあみんな。コードの一部を投稿しますが、投稿する価値はないと思います。私がやろうとしているのは、上記のような行を含むログファイルがあるということです。私がする必要があるのは、最後の行のタイムスタンプを取得し、最後の5分間のすべての行を保持することです（最後の200行などではなく....これは簡単です）。誰か助けてもらえますか？私はウェブ、いくつかのまともなヒントを検索しましたが、それでも何も起こっておらず、地獄のようにイライラしています。ありがとう！

可能性のある巨大なログファイル（> 50..1000mb）から、指定されたタイムスタンプ「t0」以降の最後の部分を取得したい：

追加の制約は、単純なbashコマンドを使用してこれを実行したいということです。簡単な解決策は次のとおりです。

しかし、これはすべての意図しない行を含むファイル全体をスキャンします。コマンドテールがありますが、私は彼に私が知らない最後の行の数を与えることができます-私はタイムスタンプを知っているだけです。最初のタイムスタンプが一致しないときに後ろから「目覚め」て処理を停止する方法はありますか？

私のラップトップでの4.2GB入力ファイルのこのコードの実行時間は48秒です。入力ファイルはタブで区切られ、各値は引用符で囲まれています。各レコードは改行で終わります。例：'"val1"\t"val2"\t"val3"\t..."valn"\n'

10スレッドでマルチプロセッシングを使用してみました。1つは行をキューに入れ、8つは個々の行を解析して出力キューを埋め、もう1つは出力キューを以下に示すdefaultdictに減らしますが、コードの実行には300秒かかりました。次の6倍以上長い：

forループからprintステートメント以外のすべてを削除して、I/Oバウンドではないことを確認しました。そのコードは9秒で実行されました。これは、このコードの実行速度の下限を検討します。

私はこれらの5GBのファイルを処理する必要があるので、実行時のわずかな改善（印刷物を削除できます！）でも役立ちます。私が実行しているマシンには4つのコアがあるので、マルチスレッド/マルチプロセスコードを上記のコードよりも高速に実行する方法があるかどうか疑問に思います。

アップデート：

マルチプロセッシングコードを次のように書き直しました。

それは26秒で実行され、1.85倍のスピードアップです。悪くはありませんが、4コアで、私が望んでいたほどではありません。

かなり簡単に見えます。http://velocity.apache.org/engine/devel/developer-guide.html#Configuring_Loggingのドキュメントに は、runtime.log プロパティを設定するよう記載されています。これが私のすべてのプロパティについて得たものです。

配置するように指示した場所にログファイルが見つからず、代わりに古い（初期化のフォルダー）場所に配置された新しいエラーが見つかりました。何か案は？:D

APP を Win7 に移行しています。このプログラムは、サポートに役立つログ ファイルを生成し、ユーザーにとって役立つ多くの辞書ファイルと設定ファイルも保存します。ただし、csv ファイルであるため可能です。APPDATA\LOCAL\OURAPPLICATION フォルダーを宛先として使用して、最初の実行を構築しました。今、PROGRAMDATA\OURAPPLICATION にするべきかどうか疑問に思っています。

私がスキャンしたすべてが、ユーザーが PROGRAMDATA フォルダーを操作できないと見なす必要があることを示唆しているように見えるため、実際には最初の選択の方が良いと思いますが、私はプログラマーではないため、よくわかりません。

これがこの質問をするのに適切な場所であることを願っています

ajax 経由で IIS ログに特定の情報を照会できるソフトウェアを推奨できる人はいますか? メンバーがページを作成できるサイトがあり、メンバーが作成した各ページの統計を表示したいと考えています。この情報をデータベースに保存することを考えましたが、IIS ログ ファイルに既に保存されているため、冗長なようです。

次のようなクエリを作成できるようにしたい:

...そして、クエリのすべての統計を含む XML または JSON を返します。

ログファイルでエラーエントリをチェックする必要があるスクリプトをBASHで作成しています。これを1時間ごとにcronとして実行する予定なので、過去1時間以内に発生したERRORタイプのエントリのみを返すようにします（すべてのサーバー時間はGMTです）。私は次の変数を確立します

すべてのログファイルは、ファイル名の形式ktYEAR-MONTH-DAY.root.log.txtに準拠しています。ここで、YEAR / MONTH / DAYは、エントリが記録された日付に置き換えられます。たとえば、今日のログファイルはkt2011-08になります。 -15.root.log.txt。コンテンツのエントリ例は次のとおりです。

対象となる列は、1番目、2番目、3番目（値は「INFO」、「DEBUG」などですが、「ERROR」が値の場合にのみ対象となります）と、ログメッセージの本文である最後の列です。

私が達成しようとしているのは、このBASHスクリプトで、最後の1時間のアクティビティ（1列目と2列目で定義）にまたがるエントリを持つファイルを解析し、4列目に文字列「ERROR」が含まれている場合です。次に、右端の列の内容を表示します。$CURTIMEに基づいてログファイルを解析する方法を決定しようとすると混乱が生じます$OLDTIME。深夜になるとさらに悪化し、前日のログファイルを検索する必要があります。量とサイズが過剰になる可能性があるため、すべてのログファイルを包括的にgrepスタイルで検索することは避けたいと思いますが、そうする必要がある場合は、そうする必要があります。

表示する必要がある巨大なログ ファイルがいくつかあります。エディターでそれらを開こうとはしません。また、ページ分割された方法でスクロールできるようにしたいと考えています。powershell に more のエイリアスがあるように見えますが、パイプしても何も起こらず、get-help は「more」しか得られません。

これは私にはまったくばかげた質問のように思えますが、まだ理解できていません.どうすれば unix の more コマンドに似たものを取得できますか?

通常、エディターでログを開く前に、ログを多くのグループにパイプして「ノイズ」を取り除きます。

このフィルタリングはエディター（特にEmacs）内で実行できるはずだと思います

これはチェーンソーがしていることですか？log4j形式のみ、またはより一般的な場合は？（これは私が見つけることができる唯一のログファイルビューアツールです）

どうやってやるの？（UNIXのgrep構文が私にとって最も簡単だと思います）