squid インスタンスを mongodb にログ記録することを計画していますが、実際の問題は、ログに記録する膨大なトラフィックがあり、すべてのアクセスがユーザー/パスで認証されることです。最終的には、ログに基づいていくつかのレポートを作成する必要があります。月ごと、ユーザーごとに配布されたログを挿入することを考えていたので、コレクションは次のようになります。
{month: 'april', users: [{user: 'loop0', logs: [{timestamp: 12345678.9, url: 'http://stackoverflow.com/question/ask', ... }]}]
したがって、4 月に基づいてレポートを生成したい場合は、4 月 1 日と 4 月 30 日のタイムスタンプが一致する行を取得するために無数の行を調べるのではなく、適切な月を取得する必要があります。
もちろん、このタイプの挿入は、ログ行を直接挿入するよりも遅くなります。だから私の質問は:これを行うための最良の方法はありますか?
現在、1 日あたり約 1,200 万行のログがあります。