問題タブ [vertica]

イベントログからのデータをデータウェアハウスにロードし始めています。ファクトテーブルの行が1つのイベントを表す通常のスタースキーマがあります。ディメンションテーブルは、user_agent、ip、referal、pageなどの一般的な組み合わせです。1つのディメンションテーブルは次のようになります。

IDを自動生成して、最終的にファクトテーブルに対して結合する場所。私の質問は、バルクロードプロセスで重複レコードを識別するための最良の方法は何ですか？永続ストアに実際に挿入する前に、ログファイルのすべてのレコードを一時テーブルにアップロードしますが、IDは自動インクリメントされるだけなので、2日間の2つの同一のdimレコードのIDは異なります。値の列のハッシュを作成して、それを比較しようとするのは適切でしょうか？各値の列を比較しようとすると時間がかかるようです。このような状況のベストプラクティスはありますか？

Vertica DB には、MySQL と同等の「Force Index」がありますか?

Verticaデータベースを使用しています。次のセッションデータの例から、特定の時間の合計秒数を取得しようとしています。サンプルSQLコードは非常に役立ちます-ありがとう

必要な出力

Verticaで PostgreSQL や他の RDBMS に相当するもの、crosstabまたは見つかったものは何ですか?pivot table

基本的に、結果を別々の列に出力する必要がある7つの選択ステートメントがあります。通常、これにはクロス集計を使用しますが、テーブルには 70 億行を超える行があるため、高速で効率的な方法が必要です。vertica データベース システムを使用しています。以下は私のステートメントの例です。

次のようなものを返す必要があります。

私の会社はVerticaを使用しています。pyodbcで接続するPythonアプリケーションがあります。私はほとんどの開発をMac（Snow Leopard）で行っていますが、残念ながらVerticaはMac用のODBCドライバーをリリースしていません。ただし、JDBCドライバーはあります。Jythonでの開発は良い妥協点ではないと思います。ODBCアプリケーションでJDBCドライバーを使用する方法はありますか？ある種のODBCコネクタ？

このクエリを生成したコードは

::text キャストを好まない Vertica データベースに接続しています。これを無効にする方法はありますか？

Hadoop の上に構築された Vertica に似た列ストアはありますか? HBase はスパース マトリックス ストアであり、Vertica のようなもので達成できる圧縮レベルを取得できないため、HBase については話していませんか?

ありがとう

そのため、（vsqlを介して）verticaデータベースにいくつかの値を挿入する必要があります。このデータベースには、引用符やあらゆる種類の特殊文字が含まれている場合があります。しかし、verticaは文字のエスケープを理解していないようです。例えば：

これは挿入ステートメントではありませんが、アイデアを得る必要があります。

VerticaデータベースにあるデータをWCFデータサービスを介して公開したいと思います。（最終的には、Excelのピボットテーブル機能のデータにアクセスしたいので、このデータを使用するためにVisual StudioでExcelワークブックプロジェクトを作成しました）。

VerticaのADO.NETプロバイダーを使用してサーバーコードのVericaデータにアクセスできますが、別のプロバイダーを使用するWFCDataServiceコードを取得する場所が見つかりません。

SQL Serverではないデータベースを使用してWCFデータサービスを作成する方法を知っていますか？