問題タブ [data-import]

Railsアプリケーションの下で大量のデータ（約500万レコード）をpostgresqlデータベースにインポートする必要があります。データはxml形式で提供され、その中の画像はBase64でエンコードされます。

xmlファイルの推定サイズは40GBです。どのxmlパーサーがrubyでそのような量のデータを処理できますか？

ありがとう。

zohmgを使用して、HBaseでマッパー、テーブルを正常に作成し、データをテストインポートしました（--local switchを使用）。
しかし、HBaseにマッピングした後、データを挿入する際に問題が発生します。これはエラーです。

私がそれを修正するのに役立つかもしれない手がかりはありますか？（または多分これはダンボの問題ですか？）

スクリプトを生成し、コンピューターにスキーマを作成しました。どうすればテーブルデータを取得できますか? リモートデータベースにコピーするのに十分なアクセス権がありません。SQLサーバーを使用して実行できますか?

データのインポートウィザードを使用して、SQLServer2005のデータベースからSQLServer2008のデータベースにすべてのテーブルとビューをコピーしようとしていますが、しばらく実行した後、570のテーブルとビューから230のテーブルをコピーし、次のようになりました。警告。

警告0x80019002：データフロータスク46：SSIS警告コードDTS_W_MAXIMUMERRORCOUNTREACHED。実行メソッドは成功しましたが、発生したエラーの数（1）が最大許容値（1）に達しました。失敗に終わります。これは、エラーの数がMaximumErrorCountで指定された数に達したときに発生します。MaximumErrorCountを変更するか、エラーを修正してください。（SQL Serverインポートおよびエクスポートウィザード）

これに対する最善の修正は何ですか？最大エラー数を変更するにはどうすればよいですか？

データベースをコピーしようとすると次のエラーが発生し、この時点で停止します。

エラー0xc0047008：データフロータスク46：パッケージには、「出力列「ErrorCode」（720）」と「出力列「ErrorCode」（737）」の名前が重複する2つのオブジェクトが含まれています。

警告0x80019002：データフロータスク46：SSIS警告コードDTS_W_MAXIMUMERRORCOUNTREACHED。実行メソッドは成功しましたが、発生したエラーの数（1）が最大許容値（1）に達しました。失敗に終わります。これは、エラーの数がMaximumErrorCountで指定された数に達したときに発生します。MaximumErrorCountを変更するか、エラーを修正してください。（SQL Serverインポートおよびエクスポートウィザード）

SSIS を使用してデータを一時テーブルにインポートするインポートを作成してから、ストアド プロシージャを使用して、カーソルを使用してデータを 1 つずつ処理し、データを処理して 3 つの異なるテーブルに情報を挿入します。最初の 2 つのテーブルへの挿入は複雑です。同じデータを持つレコードが既に存在する場合、そのレコードは作成されないためです。最初の 2 つのテーブルにレコードが挿入されているかどうかに関係なく、レコードまたは一致するレコードの ID が返され、3 番目のテーブルで使用されます。カーソルを使用する代わりの方法はありますか?

10001行のテキストファイルがあります。最初の行には属性の名前が含まれ、次の行には値が含まれています。属性タイプは混合され（文字列と浮動小数点数）、「\t」で区切られます。

そのようなテキストファイルをmatlabにインポートし、さらに分析するためにこれらのデータを適切な構造に整理するための最良の方法を知っている人はいますか？

これらのデータを一部のデータマイニングアプリケーションに使用したいので、各列にメタデータ（変数タイプ、数値/カテゴリ値など）も含めることができれば非常に便利です。

提案ありがとうございます！

Bulkoader.yaml：

model.py：

すべて問題ないようですが、アップロードすると次のエラーが発生します。 BadValueError: Property data is 24788 bytes long; it must be 500 or less. Consider Text instead, which can store strings of any length.

何らかの理由で、データは文字列プロパティであると見なされます。

誰かが私がこれを修正する方法を知っていますか？

CSV ファイルから SQL Server 2008 テーブルにデータをインポートしようとしています。データのアップロードは機能していますが、すべてではなく選択した列のみをインポートし、それらを同じ番号の新しいテーブルに追加したいと考えています。ウィザードを使用して列の数を指定しましたが、ウィザードはすべての列を選択しています。

ウィザードを使用して、選択した列のみをインポートすることは可能ですか。

処理のために多数のファイルをMatlabにインポートしようとしています。一般的なファイルは次のようになります。

2列の数字は8つのスペースで区切られています。ただし、実験がうまくいかず、マシンが次のようなデータファイルを生成する場合があります。

単一のヘッダー行を持つスペースで区切られたファイルを使用していることがわかりました。

通常のファイルに最適です。ただし、すべての異常ファイルで完全に失敗します。これを修正する最も簡単な方法は何でしょうか？importdataを使い続ける必要がありますか（すでにすべての可能な設定を試しましたが、機能しません）、または独自のパーサーを作成してみる必要がありますか？理想的には、これらの値を、正常なファイルの場合はNx2マトリックスで、異常なファイルの場合は[00]で取得したいと思います。

ありがとう。