問題タブ [bulk-load]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票する
2 に答える
3249 参照

salesforce - Apexデータローダーを使用したSalesforce一括アップロードエラー:ストレージ制限を超えました

カスタム(従業員)オブジェクトの25,000レコードを一括アップロードしようとすると、「ストレージ制限を超えました」というエラーが表示されます。セールスフォースに従業員オブジェクトがないことを確認しました(データローダーの削除を使用)。ごみ箱が空になっていることを確認しました。データローダーを使用しているときのバッチサイズは100です

これで、Javaクライアントと一括アップロードAPIを使用して同じ操作を試みると、アップロードは完全に機能し、100,000レコードの挿入でもエラーは発生しません。

apexデータローダーを使用しているときにのみこのエラーが発生する理由を誰かが知っていますか?

0 投票する
1 に答える
1249 参照

salesforce - マスター/詳細オブジェクトの一括アップロードsalesforceでのデータ形式の入力

PersonとAddressの2つのカスタムオブジェクトがあります。人はマスターであり、住所は詳細です。私は、個人の住所をマスター詳細関係として定義しました。

一括アップロード用にcsvでデータを定義するにはどうすればよいですか(参照一括アップロードJavaコードを使用)?Salesforceで一括アップロードするためにマスターの詳細がどのように定義されているかを確認するために使用できる参照XMLファイルはありますか?

ありがとうSameer

0 投票する
2 に答える
5259 参照

mysql - mysqlロードデータファイルのパフォーマンスの向上

LOAD DATA INFILE(CSVから)を使用して(ローカル)mysqlのInnoDBテーブルに約12mのレコードを一括ロードしようとしていますが、完了するまでに非常に長い時間がかかることがわかりました。

主キータイプはUUIDであり、キーはデータファイルでソートされていません。

データファイルを100000レコードを含むファイルに分割し、次のようにインポートしました。

これは最初の数十万のレコードでは正常に機能しますが、その後の各ロードの挿入時間は長くなり続けるようです(ロードごとに約7秒から約2分になります)。

私は8GBのRAMを搭載したマシンで実行しており、InnoDBパラメーターを次のように設定しています。

また、すべての行を含む単一のCSVをロードしようとしましたが、運がありませんでした。これは、強制終了する前に2時間を超えて実行されました。

これは12mのレコードしかロードしないのに時間がかかりすぎるように思われるので、これをスピードアップできるものは他にありますか?

0 投票する
1 に答える
2477 参照

sql-server-2005 - SqlBulkCopy またはストアド プロシージャを使用してデータをインポートする必要がありますか

248 MB のログ ファイルがあり、最大 1 GB まで拡張できます。行数は想像できると思いますが、すべての行を SQL Server データベースのテーブルにインポートする必要があります。そのために、まず DataTable を作成し、ログ ファイルのすべての行をその DataTable に新しい行として追加します。これはかなり速く起こります。約 30 秒で 100 万を超えるレコードがテーブルに追加されます。テーブルに行が入力されたら、ストアド プロシージャを使用して DataTable のレコードをデータベースにインポートします。ただし、このフェーズは非常に頻繁に実行されます。代わりに SqlBulkCopy WriteToServer メソッドを使用する必要があるのか​​ 、それともこの方法を維持する必要があるのか​​ 疑問に思いますか?SqlBulkCopy の方が適している場合は、DataTable または IDataReader バージョンを使用する必要があります。前もって感謝します。

0 投票する
1 に答える
319 参照

ruby - rforce gem とバルク API を使用して Salesforce アカウントを取得する

rforce gem を介して 1 回の API 呼び出しで Salesforce で複数のレコードを取得するにはどうすればよいですか? また、レコード数が > 2000 (たとえば 20000) の場合、1 つの API 呼び出しで最大 2000 レコードを取得できることを知っています。どのように反復して取得するのですか?

0 投票する
1 に答える
408 参照

hadoop - データを HBASE にロードするための MR コードの実行

私は HBASE を初めて使用します。データを HDFS から HBASE にロードしようとしていますが、MR を実行するたびにロードできません。同じ結果が得られます。

エラー「スレッド「メイン」での例外 java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/HBaseConfiguration」

すべてのクラスファイルがありますが、何が問題なのか理解できません。最初にMRを実行するには、ソースコードをコンパイルし、クラスパスにhadoopおよびhbaseライブラリを含めてから、jarを作成して実行し、同じエラーを出しました。コマンドを試しました

「hbase HBaseTemperatureImporter 入力」の場合、「java.lang.NoClassDefFoundError: HBaseTemperatureImporter」としてエラーが発生します

これも機能していません。何が間違っているのか教えてもらえますか? hbase のインストールに問題がありますか、または Hbase の MR の実行中に手順を見逃していませんか? 前もって感謝します。

0 投票する
1 に答える
3879 参照

hadoop - プログラムでHFileを作成してHBaseにロードする場合、新しいエントリは使用できません

プログラムでHFileを作成し、実行中のHBaseインスタンスにロードしようとしています。内外でたくさんの情報を見つけましHFileOutputFormatLoadIncrementalHFiles

私はなんとか新しいHFileを作成し、それをクラスターに送信しました。クラスタWebインターフェイスに新しいストアファイルが表示されますが、新しいキー範囲は使用できません。

誰かが実際にこの作品を作りましたか?githubにコンパイル可能/テスト可能なバージョンがあります

0 投票する
1 に答える
4575 参照

get - JMeter への HTTP リクエストの一括読み込み

REST サーバーをテストするための JMeter テスト計画を作成しようとしています。サーバーは現在、約 80 の GET 要求 (およびいくつかの POST および PUT 要求) をサポートしています。手動で行うことなく、すべての GET リクエストに対して HTTP リクエスト サンプラーを作成する簡単な方法はありますか? URL を CSV ファイルに入れて一括読み込みできますか? どのように?

0 投票する
2 に答える
2436 参照

java - hbase で一括読み込み中にエラーが発生しました

Java MapReduce プログラムを介して Hbase - bulkLoad を試しています。私はEclipseでプログラムを実行しています。

しかし、次のエラーが発生します。

私はたくさんグーグルで検索しましたが、解決策は見つかりませんでした。

コンソールからこの同じプログラムを実行しようとしましたが、次のエラーが発生しました。

私のコード:

0 投票する
1 に答える
442 参照

xml - SQL Server 2008/XMLバルクロードマッピングスキーマ/ルックアップ外部キーID

SQL Server2008XML一括アップロード用のXMLマッピングスキーマを作成しようとしています。XMLデータファイルには、データベース内の複数のテーブルにデータを入力するデータが含まれています。これまでのところ、複数のテーブルにデータを入力するマッピングスキーマを作成することができます。私が抱えている問題は、データベーステーブルに多くの「ルックアップ」列があることです。これらの「ルックアップ」テーブルには、(1)主キーID(INT)列と(2)一意性制約のある名前(VARCHAR)列の2つの列が含まれています。これらのルックアップテーブルへの外部キー参照を含むテーブルは、主キーID列を参照しますが名前。問題は、私のXMLデータファイルに主キーIDではなくルックアップの名前が含まれていることです。マッピングスキーマに、これらのルックアップの名前を対応する主キーIDに自動的に変換する方法はありますか?