問題タブ [singlestore]

を使用してmemsqlのテーブルにハッシュインデックスを作成しようとしました

CREATE INDEX hashindex USING HASH ON table (column);

しかし、次のエラーが表示されます

エラー 1710 (HY000): MemSQL は一意でないハッシュ インデックスをサポートしていません。

何か足りないのですか？

私は列ストア db ファミリを初めて使用し、いくつかの概念はまだ完全に明確ではありません。MemSQL を使用してスパース行列を格納したいと考えています。

テーブルは次のようになります。

クエリ:

1. SELECT c_id, cell_data FROM matrix WHERE r_id=<val>;つまり、行全体
2. SELECT r_id, cell_data FROM matrix WHERE c_id=<val>;つまり、列全体
3. SELECT cell_data FROM matrix WHERE r_id=<val1> AND c_id=<val2>;つまり、1 つのセル
4. UPDATE matrix SET cell_data=<val> WHERE r_id=<val1> AND c_id=<val2>;
5. INSERT INTO matrix VALUES (<v1>, <v2>, <v3>);

クエリ 1 と 2 はほぼ同じ頻度であり、3、4、5 も同じ頻度です。Q1,2 の 1 つは、Q3,4,5 の 1 つと同じ頻度です (つまり、Q1,2:Q3,4,5 ~= 1:1)。

一度に 1 つの行を列ストアに挿入すると、挿入ごとに行セグメント グループが作成され、パフォーマンスが低下することを認識しています。インサートをバッチ処理できません。また、メモリ内の行ストアを使用できません (マトリックスが大きすぎます)。

3 つの質問があります。

1. cell_dataのみが変更された場合 (Q4 など) 、単一行の挿入に関する問題は更新にも関係しますか?

2. INSERT (? and UPDATE?) 操作を実行し、内容を定期的に列テーブルにバッチ処理するインメモリ行テーブルを作成することは可能でしょうか?

   • 最新のデータ (?UNION ALL?) が必要な場合、どのように Q1,2 を実行しますか?
   • 両方のテーブルで Q3 を実行しないようにすることはできますか (?これは 2 回の往復を意味しますか?)?

3. Q1とQ2の実行速度が気になります。それらに最適なクラスタ化されたキーです。上記のテーブルでレコードがどのように保存されるかわかりません。

MemSQL を使用して、データに対するスクリーニング機能を提供することを検討しています。スクリーニング操作には、任意の数の基準 (Oracle または MySQL の「動的 SQL」を使用して対処する可能性が最も高い要件のタイプ) を含めることができます。

この種の任意のスクリーニングは MemSQL にとって問題になるでしょうか? MemSQL のこの FAQは、クエリのコンパイルに時間がかかることを示唆しています。MemSQL が新しい WHERE 句を検出するたびに、新しい C++ フラグメントをコンパイルする必要があるということですか? もしそうなら、そのコンパイルはどのくらいの遅延をもたらしますか?

ありがとう。

MemSQL Ops を使用して 3 ノードの memsql クラスターに Spark をインストールしようとしていますが、以下のエラーが発生します。このエラーを解決する方法を提案してください。

Spark のデプロイに失敗しました。Spark の最新バージョンを取得できませんでした: 利用可能な SPARK ファイルがありません。

ありがとう。

MemSQL Extractor を使用して Spark ジョブで CSV ファイルを読み取り、Transformer を使用してエンリッチメントを行い、Java を使用して MemSQL データベースにロードしようとしています。

memsql-spark インターフェイス jar があるようですが、有用な Java API ドキュメントや例が見つかりません。

CSV から読み取るエクストラクタの作成を開始しましたが、さらに先に進む方法がわかりません。

誰かが始めるための方向性を教えていただければ幸いです...

ありがとう...

MemSQL SQL コマンドの入力パラメータとそのタイプ、および出力パラメータとそのタイプのリストを取得する方法はありますか? 主に select ステートメントとストアド プロシージャ コールに興味があります。コマンドを実行して情報を取得したくありません。私は、使用できる自動化可能なソリューションに対してオープンです。理想的には、呼び出すことができるストアド プロシージャか、ラップできるネイティブ ライブラリです。各パラメータのデータ型情報が必要です。

Microsoft SQL Server では、SQL Server 2012 の新しいメタデータ検出機能でsys.sp_describe_first_result_set説明されているように、この情報を取得できます。

主キーの一部ではない列で結合を使用しています。したがって、これらの列については、同じノードに同じ値のデータを格納する必要があります。したがって、参加はローカルで機能します。

プロジェクトを MSSQL から MemSQL に移行しようとしていますが、大量のテーブルと関連するテーブルを再作成するという最初の問題に直面しています。

手動で抽出してデータをいじるよりも高速なツールはありますか?

SQL Server Import & Export Wizard を試し、MySQL として偽装した MemSQL にエクスポートしようとしましたが (バイナリ プロトコル レベルの互換性があるため)、最も単純なテーブルでも大量のエラーが発生しました。

簡単なものがありませんか？