bigquery を使用してIIS ログ (拡張ログ ファイル形式) を読み込んで分析するための推奨される方法/例はありますか? また、自動パーティション化する必要があります。ログファイルを定期的に取得できます
特定の機能の使用状況を分析したいと考えています。これは、特定の URL パターンと、訪問者が Web サイトを介してたどる最も人気のあるフローのコンバージョン ファネルによって識別でき、訪問者がどこに出入りするかを特定します。訪問者は Cookie の一意の ID で識別され (ログに保存されます)、ページはリファラーにリンクされます (これもログに保存されます)。
前もって感謝します
CSV 形式のファイルを BigQuery に読み込むのは簡単です。CSV 形式と JSON 形式の両方のソース データがサポートされています。
私は IIS の専門家ではありませんが、フラットなログ データを BigQuery に読み込む最も簡単な方法は、CSV から始めることです。IIS のログ形式は非常に簡単に使用できますが、ステップを保存して CSV にエクスポートすることをお勧めします。簡単に検索すると、多くの人がLogParserを使用して (注: 私自身は使用したことがありません)、IIS ログを CSV に変換していることがわかります。おそらく、これまたは同様のツールを試してみてください。
BigQuery データセット テーブルの「自動分割」に関しては、BigQuery はこれを自動的に行いませんが、エクスポートする IIS ログのバッチごとに新しいテーブルを作成するのはかなり簡単です。
分析するデータの量に応じて、1 日または 1 時間ごとに新しい BigQuery テーブルを作成する必要があります。
BigQuery コマンドライン ツールを使用すると、コマンドラインでこれをスクリプト化するのは非常に簡単です。ログ データの各タイムスライスに基づく新しいテーブル名を使用して、新しい BigQuery 読み込みジョブを作成します。
つまり、BigQuery テーブルは次のようになります。
mydataset.logs_2012_10_29
mydataset.logs_2012_10_30
mydataset.logs_2012_10_31
etc...
詳細については、データのインポートに関するBigQuery のドキュメントを必ずお読みください。