問題タブ [monetdb]

monetdb をデータマートとして使用して、クエリとレポート用の巨大なデータ テーブルを保持することに非常に興味があります。

しかし、いくらか検索した結果、あらゆる種類の生産能力での Monetdb の使用に関するオンラインの投稿やブログを見つけることができません。

また、Monetdb に関するオンラインでの活動はほとんどまたはまったくないようです。

これは Monetdb の将来にとって悪い兆候ですか?

1億5000万件のレコードをMonetDBにロードしました。すべてのデータが単一のテーブルに挿入されます。テーブルには制約がありません（例：UNIQUE、..）。自分でインデックスを作成したことはありません。元のソースCSVファイルは約7.2GBで、データベースをインポートした後は約8GBです。で実行しましたCOUNT(*)がWHERE、12秒で戻りました。ドキュメントによると：

SQL標準のインデックスステートメントは認識されますが、それらの実装は競合製品とは異なります。MonetDB / SQLは、これらのステートメントをアドバイスとして解釈し、多くの場合、高速アクセス用のインデックスを作成および維持するという独自の決定に依存して、自由に無視します。

MonetDBがインデックス自体を作成したことをどのようにして知ることができますか？使用EXPLAINしましたが、出力がわかりませんでした。これは実際のクエリです。

これがEXPLAIN出力です：

誰か助けてもらえますか？

データベースサーバーのPIDであるproc/<pid>/ioSQLクエリのIOアクティビティを測定するために読みました。<pid>各クエリの前後の値を読み取って差を計算し、リクエストによって読み取りおよび/または書き込みが発生したバイト数を取得します。

私が知る限り、フィールドREAD_BYTESは実際のディスク IO をカウントしRCHARますが、Linux ページ キャッシュによって満たされる可能性のある読み取りなど、さらに多くのものが含まれます (明確にするために、/proc/[pid]/io のカウンターの理解を参照してください )。RCHARこれは、以上の値になるはずの仮定につながりますREAD_BYTESが、私の結果はこの仮定と矛盾しています。

Infobright ICE で取得した結果のマイナー ブロックまたはページ オーバーヘッドを想像できます (値は MB です)。

しかし、MonetDB の IO カウンターを完全に理解できません (値は MB です)。

RCHARを含むという仮定は間違っていますREAD_BYTESか? MonetDB が使用できるカーネル カウンターをだます方法はありますか? ここで何が起こっているのですか？

各クエリの前に、ページ キャッシュをクリアし、データベース サーバーを再起動することを追加する場合があります。私は Ubuntu 11.10 を使用しており、カーネル 3.0.0-15-generic を実行しています。

ユーザーテーブルを含むテーブルを持つMonetDBデータベースがあります。

birth_dateDSTなしでGMTで保存されます。（これはMonetDBのデフォルトの動作です）。したがってTimeZone、アプリケーションでを変更する必要があります。これが私のコードです：

しかし、このコードTIMESTAMPはデータベースに同じものを出力します。これは変換する間違った方法TimeZoneですか？私はopenjdk6を搭載したDebian6でMonetDBバージョン11.9.5-20120516を使用していますmonetdbd getall /home/dbfarm。

MonetDBは、データベースのスキーマ構造を発見するために、かなり包括的なシステム カタログ ビューのセットをサポートしているようです。残念ながら、特定の key または index の一連の列を取得する SQL クエリが見つからないようです。Tables テーブルによって報告されるシステム テーブル/ビューは次のとおりです。

スキーマ タイプ 関数 引数 シーケンス 依存関係 接続 _tables _columns キー idxs トリガー オブジェクト テーブル 列 db_user_info ユーザー user_role auths 権限 queryhistory callhistory querylog システム関数

依存関係を試しましたが、ID が一致していないようです。ところで、ソース コードを調べてみましたが、システム ビューがどこで作成および管理されているかまだわかりません。

odbcを使用してnode.jsのmonetDBに接続しようとしています。ただし、次のエラーが発生し続けます。

ソースコードは次のとおりです。

コマンド「isql-vmonetdb」を使用すると、次のodbc.iniおよびodbcinst.iniの内容でODBCを使用してmonetDBに接続できます。

isqlを使用して接続しているので、問題はコード行にあると推測しています。

何が問題なのか、上記の接続文字列を正しく設定していますか？

PHP 5.4 用の php_monetdb.dll が必要です。Windows で HAVE_PHP=1 オプションを使用して monetDB をビルドすると dll が作成されることがわかりましたが、ビルド手順は多くの点で失敗します。私は sourceforge の monetdb ソースを使用していますが、これは少し古いものです。新しいバージョンは .msc ファイル自体に問題があるため、ビルド自体に進むのは面倒です。私が試している古いバージョンは、少なくとも nmake ステップには合格していますが、nmake インストール ステップには失敗しています。理由はコンポーネントによって異なります。1 つは devenv /build が存在しないことを示しています。このために、vcexpress をコピーして名前を devenv に変更しました。これが正しいかどうかはわかりませんが、コマンド プロンプトから実行すると、いくつかの警告アラートが表示されて正常に動作するようです。他の make インストール中に、ヘッダー ファイルが見つからないようです。誰でもこれで私を助けてくれませんか。また、php_monetdb.dll を取得するこの方法に代わる方法があれば教えてください。

PS: Windows 7、MSVC 10 Express、PHP 5.4.4 を使用しています。

インスタンスを起動せずにこれを行う方法はありますか?

そのため、MonetDB を JDBC に接続する作業を行っていますが、基本的なチュートリアルでも問題が発生しています。私はおそらくここで何か間違ったことをしており、誰かが私を正しい方向に向けることができるかもしれません (それは大歓迎です!)。

したがって、私が実行しているコマンドは次のとおりです。

--

mclient -u monetdb -d test1 経由で test1 にアクセスできるため、これは奇妙に思えます。

ティア

データを sybase から monetdb に移行しようとしています (またはその逆)。このために、sybase から bcp を使用して monetdb にコピーしています。

問題は、datatime などの一部のデータ型が monetdb で使用できないことです。この問題を解決するために、日時形式を monetdb 固有の形式に変換する関数を monetdb で定義できます。

しかし、bulkcopyコマンドを試しているときに特定の列でこの関数を呼び出す方法

sybase の bcp と同じ状況

編集 2: (元の質問はまだ残っていますが、問題を解決したと思います) monetdb と sybase の両方で csv ファイルからデータを一括コピーしたかったのです。csv ファイルには、UNIX タイムスタンプ (1970 年からの秒数) を含む 1 つの列がありました。人間が読める日付時刻 (YYYY-MM-DD HH:MM:SS) 形式と比較して UNIX タイムスタンプを使用してクエリを実行するのは難しいため、そのタイムスタンプ列を日付時刻形式に変換したいと考えました)。

一括コピー時にデータ型を変更することはできませんでしたが、タイムスタンプを人間が読める形式に変換する関数を定義 (使用) しました。