数メガバイトのネットワーク トラフィックを収集したので、分析を実行したいと考えています。私が直面している問題は、検索時に時間の複雑さを軽減できるように保存したいということです。
私が頭に浮かんだ最初のアイデアは、列に可能なすべての属性を持つデータベースにそれを配置することでしたが、その後、テーブルに多くの NULL 値があることに気付きました。これにより、データベースのパフォーマンスが低下します。小さなデータベースではパフォーマンスの低下がわずかであっても、大きな *.pcap ファイル (1Gb を超える) を解析すると、データベースのパフォーマンスが大幅に低下します。AS データベースのサイズが増加し、テーブル内の NULL 値の数も増加します。
分析のために *.pcap ファイルを保存するより良い方法はありますか?解決策として XML ツリーを調べていますが、よくわかりません。私はPythonを使用してそれを行い、dpktモジュールを使用して* .pcapファイルからデータを抽出しています
よろしくお願いします