問題タブ [logfiles]

LogParser を使用して IIS ログを SQL Server データベースにダンプするスクリプトをいくつか実行しました。

次に、これをクエリして、ヒット数や使用状況などに関する簡単な統計を取得できます。エラー ログ データベースやパフォーマンス カウンター データベースにリンクして、使用状況とエラーなどを比較する場合にも役立ちます。

これを 1 つのシステムに実装しただけで、過去 2 ～ 3 週間で、約 1,000 万件のレコードを含む 5 GB のデータベースが既にありました。

これにより、このデータベースへのクエリが非常に遅くなり、このままログを記録し続けると、ストレージの問題が発生することは間違いありません。

このようなログに対してより効率的な、このデータに使用できる代替データベースを提案できる人はいますか? Google の BigTable や Amazon の SimbleDB の経験に特に興味があります。

これらのいずれかがクエリのレポートに適していますか? COUNT、GROUP BY、PIVOT?

SQL Server 2008 で SSIS を使用して毎晩実行する次のシナリオがあります。

• いくつかの一時を作成します。テーブル、および ODBC データ ソースからのデータのインポート
• インポートが完了したら、既存のテーブルを削除し、temp の名前を変更します。ドロップされたテーブルと同じ名前のテーブル

ログを最小限に抑えるには、SSIS ジョブまたは SQL Server 設定で何をする必要がありますか? 毎晩更新されるテーブルはわずかしかないため、データベース全体のログをオフにしたくありません。

asp.net アプリケーションで Log4Net を使用したいのですが、次のことを行いました。

Web.Config ファイル内

Global.asax で

そして Page_load で

BINフォルダーにも参照を追加しました。

コードを実行すると、期待どおりにエラーが発生し、その後、ログ ファイルを使用してソリューション エクスプローラーに新しいフォルダーが作成されます。しかし、ログ ファイルは空です。

エラーが発生した理由はわかりませんが、エラーを追跡または記録することはできませんか??

助けてください。前もって感謝します。

2 つの大きなログファイルがあります。デバイスが a にあるが b にないかどうか、およびその逆 (デバイスが一般的な行を除く) を確認したい場合、ファイルは次の例のようになります。

_{04/09/2010,13:11:52,認証OK,user1,デフォルトグループ,00-24-2B-A1-08-88,29,10.1.1.1,(デフォルト),,,,,,13,EAP -TLS,,device1,
04/19/2010,15:35:24,Authen OK,user2,デフォルト グループ,00-24-2B-A1-05-EA,29,10.1.1.2,(デフォルト),,, ,,,13,EAP-TLS,,device2,
04/09/2010,13:11:52,Authen OK,user3,デフォルト グループ,00-24-2B-A1-08-88,29,10.1.1.3, (デフォルト),,,,,,13,EAP-TLS,,device3,
04/19/2010,15:35:24,Authen OK,user4,デフォルト グループ,00-24-2B-A1-05-EA, 29,10.1.1.4,(デフォルト),,,,,,13,EAP-TLS,,device4,}

繰り返しますが、ログファイル a にはあるが b にはなく、b にはあるが a ではないデバイスごとに、デバイス (フィールド [-2]) と IP (フィールド [7]) が必要です。

これまでに行ったことは次のとおりですが、少しぎこちなく、非常に遅いです (各ファイルには約 400K 行あります)。私は2回相互参照しています。誰でも効率を提案できますか？おそらく私は間違ったロジックを使用していますか??

リンクサーバー上のあるDBから別のDBへのデータの大規模なアーカイブを行っています。MS sqlserver2000からMSsqlserver 2005にコピーしています。これには、数百万のレコードをコピーしてから削除することが含まれます。これはすべて、動的スクリプトを介して行われます。このプロセスにログファイルの縮小を組み込みたいのですが、リンクサーバーでDBCCSHRINKFILEを機能させることができません。これも可能ですか？

正規表現を使用して Oracle トレース ファイルを解析しようとしています。私が選んだ言語は C# ですが、この演習では Ruby に慣れるために Ruby を使用することにしました。

ログ ファイルはある程度予測可能です。ほとんどの行 (具体的には 99.8%) は、次のパターンに一致します。

ただし、ログのいくつかの場所では、何らかの理由で複数の行にまたがる複雑なクエリが多数あります。

これらのエントリについて注意すべき点が 2 つあります。これは、ログ ファイルが何らかの破損を引き起こしているように見えることです。これは、出力できない文字で終了し、突然次のエントリが同じ行で始まるためです。

これは明らかに行ごとにデータをキャプチャすることを除外しているため、次善の策は「TIME:」という単語と「TIME:」の次のインスタンスまたはファイルの終わりの間のすべてを一致させることだと思います。これを正規表現で表現する方法がわかりません。

より効率的なアプローチはありますか？解析する必要があるログ ファイルは 1.5 GB を超えます。私の意図は、行を正規化し、不要な行を削除して、最終的にクエリ用のデータベースに行として挿入することです。

ありがとう！

この征服クラブ (リスクのような) ゲームを再作成しようとしています:

http://conquerclub.barrycarter.info/ONEOFF/7460216.html

つまり、各時点での各領地の所有者と、その領地に何人の軍隊がいたかを知りたいのです。私の主な情報源はゲーム ログです。ノート：

% ゲームログにはありませんが、すべての領地は 3 部隊で始まります。

% ゲーム終了時に領地の所有者を把握しており、ゲーム ログにはすべての所有者の変更が記載されているため、いつでも領地の所有者を簡単に特定できます。

% 課題は、特定の時間に領土にいる軍隊の数を見つけることです。

% ゲームログは、部隊の配備、増援、および征服に関する情報を提供します。

%ただし、ゲームログは不完全です。領土 X が領土 Y の攻撃に失敗したが、その過程で両方の領土が軍隊を失ったとします。ゲームログはこれについて言及しません。

% 特定の時点で領土内の正確な部隊数を見つけることはおそらく (一般的には) 不可能なので、範囲を探しています。

% データを一連の不等式として Mathematica に入力しようとしましたが、マニュアルで警告されているように、不等式の数に応じて計算時間が指数関数的に増加します。不等式の数がかなり少ない場合でも、ハングします。さらに、ここで Mathematica が適切なツールであるとは確信していません。

％ 何かご意見は？別の例: http://conquerclub.barrycarter.info/ONEOFF/7562013.html

% http://userscripts.org/scripts/show/83035については知っていますが、\ 所有者のみを追跡し、部隊の数は追跡しません。

サイトで行われている検索エンジンのクロールを分析する必要があります。これに適したツールはありますか？AWStats と Sawmill を試しました。しかし、どちらもクロールについて非常に限られた洞察しか得られません。一定期間内に特定のクローラーによってクロールされた、サイトのセクション内の固有の Web ページの数などの情報を知る必要があります。

Google アナリティクスは、JavaScript 追跡メカニズムにより、クロールをまったく追跡しません。

私の仕事の一環として、年間約 25 TB 相当のログ ファイルを受け取ります。現在は、NFS ベースのファイル システムに保存されています。zipped/tar.gz にアーカイブされているものもあれば、純粋なテキスト形式で保存されているものもあります。

NFS ベースのシステムを使用する代替手段を探しています。私はMongoDB、CouchDBを見ました。それらがドキュメント指向のデータベースであるという事実は、それを適切に適合させているようです. ただし、ログ ファイルの内容を JSON に変更して DB に保存する必要があります。やりたくないこと。ログ ファイルの内容をそのまま保持する必要があります。

使用法については、小さな REST API を配置して、人々がファイルのリスト、最新のファイル、およびファイルを取得する機能を取得できるようにする予定です。

提案されたソリューション/アイデアは、ログファイルを保存でき、マシンを追加することで効果的に水平方向にスケーリングできる、アプリケーションレベルの分散データベースまたはファイルシステムの形式である必要があります。

アンクル

vb.net で簡単なアプリケーションを作成しており、診断目的でログ ファイルに情報を出力する必要があります。

ログ ファイルが大きくなりすぎないようにするために、特定の行数 (たとえば 5000 行) にトリミングする必要があります。パフォーマンス上の理由から、ログ エントリが書き出されるたびにトリミングを実行する必要はなく、トリミングの実行が重要であるわけでもありません (たとえば、アプリケーションが早期にクラッシュした場合)。

しかし、それをトリミングする最良の方法は本当にわかりません。ログ全体をメモリにロードしてから、最後の 5000 行だけを書き直すこともできますが、これを行うためのよりクリーンで優れた方法があると確信しています。

誰でもより効率的な方法を提案できますか? 私は vb.net でかなり新しいので、コード例をいただければ幸いです。