問題タブ [bulk-load]

私は現在、UnicodeおよびUTF8形式のデータを追加するために.NETアプリケーションでMySqlBulkLoaderを使用しようとしています。私のコードは次のことを行います

• TextWriterとStreamwriterを使用してタブ区切りのテキストファイルを書き込みます

  using（TextWriter tr = new StreamWriter（newFile、false、Encoding.UTF8））

• Charset=utf8の接続文字列を使用してMySqlBulkLoaderを開きます。最後に

  MySqlBulkLoader bl = new MySqlBulkLoader（new MySqlConnection（mysqlconnstring））;

• BLの文字セットはUTF8です。

  bl.CharacterSet = "utf8";

• 次に、bl.Load（）;を呼び出します。

しかし、DBをチェックすると、取得していますか？Unicode文字の場合...書き込み中のテキストファイルを確認しましたが、文字が正しく表示されています。

[この質問1に基づいて、データベースとテーブルの照合をutf8_binに設定しようとしましたが、まだ取得していますか？...何が間違っていますか？

HBase データベースの既存のインスタンスに対して実行する必要がある HBase sql ステートメントの大きなリストがあります。

SQL ステートメントはプレーン テキストであり、データベースは (HDFS ではなく) ネイティブ ファイル システムで実行されています。したがって、Hadoop インスタンスを実行していません。

現在、これらの SQL ステートメントを hbase シェルで実行していますが、プロセスが非常に遅いです。Hadoop が実行されているかどうかはわかっています。マッパーを割り当てて並列挿入を実行できますが、Hadoop インスタンスを使用せずに一括読み込みを行うより高速な方法はありますか?

Visual Studio 2010 を使用して、XML を Microsoft SQL Server 2012 に一括ロードする方法を理解する必要があります。こちらの手順に従いましたが、エラーの長いリストが表示されます (以下に含まれます)。

さらに、#8 の手順をどうすればよいかよくわかりません。「Main() メソッドを次のコードに置き換えます。ConnectionString プロパティとファイル パスをスキーマ ファイルとデータ ファイルに更新します。」誰か簡単な概要を教えてください。

役に立つかどうかはわかりませんが、SQL DB もデータ ソースとして追加しました。

エラー 1:

タイプ 'SQLXMLBULKLOADLib.SQLXMLBulkLoad4Class' にはコンストラクターが定義されていません C:\Users\coopere.COOPERE-PC\documents\visual studio 2010\Projects\Aztech - Bulk Load\Aztech - Bulk Load\Program.cs 15 64 Aztech - Bulk Load

エラー 2:

'SQLXMLBULKLOADLib.SQLXMLBulkLoad4Class' には 'ConnectionString' の定義が含まれておらず、タイプ 'SQLXMLBULKLOADLib.SQLXMLBulkLoad4Class' の最初の引数を受け入れる拡張メソッド 'ConnectionString' が見つかりませんでした (using ディレクティブまたはアセンブリ参照がありませんか?) C: \Users\coopere.COOPERE-PC\documents\visual studio 2010\Projects\Aztech - 一括読み込み\Aztech - 一括読み込み\Program.cs 16 23 Aztech - 一括読み込み

エラー 3:

'SQLXMLBULKLOADLib.SQLXMLBulkLoad4Class' には 'ErrorLogFile' の定義が含まれておらず、タイプ 'SQLXMLBULKLOADLib.SQLXMLBulkLoad4Class' の最初の引数を受け入れる拡張メソッド 'ErrorLogFile' が見つかりませんでした (using ディレクティブまたはアセンブリ参照がありませんか?) C: \Users\coopere.COOPERE-PC\documents\visual studio 2010\Projects\Aztech - 一括読み込み\Aztech - 一括読み込み\Program.cs 17 23 Aztech - 一括読み込み

エラー 4:

'SQLXMLBULKLOADLib.SQLXMLBulkLoad4Class' には 'KeepIdentity' の定義が含まれておらず、型 'SQLXMLBULKLOADLib.SQLXMLBulkLoad4Class' の最初の引数を受け入れる拡張メソッド 'KeepIdentity' が見つかりませんでした (using ディレクティブまたはアセンブリ参照がありませんか?) C: \Users\coopere.COOPERE-PC\documents\visual studio 2010\Projects\Aztech - 一括読み込み\Aztech - 一括読み込み\Program.cs 18 23 Aztech - 一括読み込み

エラー 5:

'SQLXMLBULKLOADLib.SQLXMLBulkLoad4Class' には 'Execute' の定義が含まれておらず、型 'SQLXMLBULKLOADLib.SQLXMLBulkLoad4Class' の最初の引数を受け入れる拡張メソッド 'Execute' が見つかりませんでした (using ディレクティブまたはアセンブリ参照がありませんか?) C: \Users\coopere.COOPERE-PC\documents\visual studio 2010\Projects\Aztech - 一括読み込み\Aztech - 一括読み込み\Program.cs 19 23 Aztech - 一括読み込み

エラー 6:

相互運用型 'SQLXMLBULKLOADLib.SQLXMLBulkLoad4Class' を埋め込むことはできません。代わりに適切なインターフェースを使用してください。C:\Users\coopere.COOPERE-PC\documents\visual studio 2010\Projects\Aztech - 一括読み込み\Aztech - 一括読み込み\Program.cs 15 35 Aztech - 一括読み込み

エラー 7:

相互運用型 'SQLXMLBULKLOADLib.SQLXMLBulkLoad4Class' を埋め込むことはできません。代わりに適切なインターフェースを使用してください。C:\Users\coopere.COOPERE-PC\documents\visual studio 2010\Projects\Aztech - 一括読み込み\Aztech - 一括読み込み\Program.cs 15 86 Aztech - 一括読み込み

事前にご協力いただきありがとうございます。

LOAD DATA INFILEを使用して text/csv データをロードできることを認識しています。ただし、これはインサートに限られるようです。ただし、C# を使用して MYSQL で SQL ファイルを一括インポートする方法はありますか。

私の希望は、SQL をテキスト ファイルに作成し、それを自分の接続に送信することです。このプロセスは毎日行われるため、プログラムの開始後にユーザーが介入する必要がないように、自動化する必要があります。一括で実行できる場合、挿入と更新に時間がかかりすぎます。

DataStax Web サイトで提供されている一括読み込みサンプルを使用して、Cassandra SSTables を生成しています。http://www.datastax.com/dev/blog/bulk-loading

私の質問は、SSTable ファイルが理想的に消費するディスク容量はどれくらいですか? 私の場合、データ CSV ファイルは 40 GB で、この特定のファイルのために SStables が消費する合計ディスク容量は約250GBです。これらのテーブルを作成する際に何か足りないものはありますか? sstables の生成に使用できる圧縮オプションはありますか?

sstableloader を使用して sstables をロードする 2 番目のステップは問題なく動作し、データは CQL でのクエリに使用できます。

また、上記のバルクロード方法以外に、大きなデータを cassandra にインポートする方法が他にあるかどうかを知りたいです。

次のSQLストアドプロシージャを使用して、xmlファイルを一括挿入および解析し、そのデータをデータベース内の複数のテーブルに挿入します。

以下の sql は機能しますが、 #questions テーブルと #cards テーブルに重複レコードを挿入します。

これに関するヘルプは大歓迎です。前もって感謝します。

XML ファイルは次のとおりです。

ここにSQLコードがあります

ファイルで受け取ったデータを使用して、列の値を定期的にインクリメントする必要があります。テーブルの行数が 400000 を超えています。これまでのところ、私の試みはすべてパフォーマンスが非常に悪い結果になっています。私の要件を反映した実験を作成しました。

私が得る時間はこれらです：

そのため、400000 以上の行数を処理するには時間がかかりすぎます。

私は sqlalchemy を初めて使用しますが、多くのドキュメントを読みましたが、何が間違っているのか理解できません。

前もって感謝します！

クライアントのカスタム データベースのデータを分析する Web アプリを作成しています。クライアントのログ ファイル エントリを 12 時間制から 24 時間制に変換する方法がわかりません。これを設定しているデータベースは 12 時間形式を読み取ることができないため、時刻が正しく表示されません。

私が使用しているログ ファイルは次のようになります。

ログ ファイルを次のように変換する必要があります。

ログ ファイルごとに数万のエントリがあるため、エントリごとにこれを行う方法はありません。各ログ ファイルのエントリを 24 時間制に一括変換する方法を見つける必要があります。

どんな助けでも大歓迎です！

ありがとう！

アーロン

これは、次の場所に投稿された質問の続きです: Java program to pass List of Bean to a oracle stored procedure - オブジェクトを次々に追加するのではなく、リスト全体を一度に渡す

上記のリンクの場所に記載されているストアド プロシージャを拡張しようとしていますが、実装に混乱しています。プロシージャからの出力として VARCHAR2 ではなく、プロシージャからの出力として NUM_ARRAY を返したいと考えています。Java コードで NUM_ARRAY を読み取るロジックを実装するのを手伝ってくれませんか。通常、出力は Map out = super.execute(inParams); を使用して返されます。NUM_ARRAY を Bean に抽出するにはどうすればよいですか?

更新: Spring Data JDBC 拡張機能を使用した後、以下に貼り付けた新しい応答に対応するためにソース コードを変更する必要がありましたが、bean.getAttributes() メソッドが呼び出されたときに接続の問題が依然として存在します。接続を閉じたり、接続が閉じられる前に値にアクセスしたりしないようにする方法を見つける必要があるようです。

ターミナルの単一ノード クラスタで hbase バルク ロード プログラムを実行していました。このジョブを実行するための hadoop コマンド

入力パス:/user/cloudera/Game1.csv

出力パス:/user/cloudera/hbase

hbase テーブル名:NBAFinal2010