問題タブ [bulk-load]

sstableloader で一括読み込み中に例外が発生します。JDK 1.6.0_25 64 ビット、Ubuntu 12.04 サーバーを使用しています。IPv6 がオフになっています。ホスト間のネットワーク通信は正しく機能します。私はおかしくなりそうだ ;-（

すべてのホストで Cassandra 1.1 (datastax エディション) が実行されます。ポート 7000、7199、9160 が開かれました。何か案は ？？

ここ数日、私は Hadoop を試していました。Ubuntu 12.10 で Hadoop を疑似分散モードで実行しており、いくつかの標準的な MapReduce ジョブを正常に実行しました。

次に、HBase の実験を開始したいと思いました。HBase をインストールし、シェルで少し遊んでみました。すべてうまくいったので、単純な Java プログラムを使って HBase を試してみたいと思いました。以前の MapReduce ジョブの 1 つの出力をインポートして、HBase テーブルにロードしたいと考えていました。HFileOutputFormatHBase テーブルに簡単に読み込まれるファイルを生成するマッパーを作成しました。

これで、プログラムを実行するたびに (hadoop jar [コンパイル済みの jar] を使用) ClassNotFoundException、. プログラムは解決できないようcom.google.commons.primitives.Longです。もちろん、依存関係がないだけだと思っていましたが、JAR (Google の Guava) はそこにあります。

いろいろ試してみましたが、解決策が見つからないようです。

発生する例外と最も重要なクラスを添付しました。誰かが私を助けてくれたり、どこを見ればよいかアドバイスをくれたりしてくれたら本当にありがたいです.

よろしく、 ピータージャン

エラー

Java
マッパー:

仕事：

こんにちは、MySQLバルクローダーを使用してAmazonサービスからLinuxサーバーのローカルテーブルにデータをダンプしていますが、実行するたびにMySQLバルクローダーステップで失敗します

エラーログは言う

この配列インデックスの範囲外エラーが発生する理由を誰でも助けることができます。前の行が来ることを既に確認しました。多くの行があり、どちらもnull値を持っていません

次の TYPE、PROCEDURE、および Java コードのセットがあります。ストアド プロシージャを正常に呼び出すことはできますが、オブジェクトを次々に追加する必要があります。50,000 件以上のレコードを扱っているため、プロセスを一度に実行したいと考えています。リスト全体を一度に送信できるように、どのような変更を行う必要があるか教えてください。コードは以下にあります。

私が欲しいのは、次のコードの代わりです

各オブジェクトを個別に設定する代わりに、オブジェクト配列「employees」の代わりに sampleLst を直接使用したいと考えています。50,000 個以上のオブジェクトを扱うとき、それらをオブジェクト [] に追加し続けることができません。私もヒープの問題に遭遇します。誰でもここで私を助けてもらえますか?

JavaでGoogleアプリエンジンを使用しています。私の web.xml に、次のコードを追加しました。

今、次のコマンドを書くと：

コマンドプロンプトで次のテキストを取得します。

許可が拒否された理由を誰か教えてください。前もって感謝します。

Bulk Insertステートメントを使用してMAXERRORSを無効にする方法はありますか？

一括挿入するファイルではエラーの数が多くなる可能性があるため、エラーの数を無限に増やしたいと思います（このファイルを制御できず、現在ベンダーと協力して問題を修正しています特定の行）。

それを無効にする方法がない場合、MAXERRORSが処理できる最大数はいくつですか？それは2147483647ですか？

私は cassandra を使った経験があまりないので、間違ったアプローチをしていたらすみません。

map reduce を使用して cassandra で一括読み込みを実行しようとしています

基本的に単語数の例

参考： http: //henning.kropponline.de/2012/11/15/using-cassandra-hadoopbulkoutputformat/

簡単な Hadoop Wordcount Mapper の例を用意し、上記の例のようにドライバー コードとレデューサーを少し変更しました。

出力ファイルも正常に生成されました。今私の疑問は、カサンドラ部分へのロードを実行する方法ですか? 私のアプローチに違いはありますか？

ご意見をお聞かせください。

これはドライバーコードの一部です

Mapper は、Word をトークン化して発行するだけの通常の wordcount マッパーと同じです。

レデューサークラスは次の形式です

目的

OPENROWSET 機能を使用して、テキスト ファイルに対するクエリでデータを結合します。

エラー

この質問に関する@gbnからの回答を活用して、OPと同じように行セットを開こうとしています。ただし、ファイルの形式は少し異なります。ただし、共有フォルダーにアクセスしようとすると、次のエラーが発生します。

メッセージ 4861、レベル 16、状態 1、行 1

ファイル「\MACHINENAME\Share\EC04.txt」を開けなかったため、一括読み込みできません。オペレーティング システム エラー コード 5 (アクセスが拒否されました。)。

バックグラウンド

私は SQL サーバーにアクセスできないため、そこにファイルを配置することはできません。

ファイルは Windows 7 x64 マシン上にあります。

フォルダは と共有されていRead/WriteますEveryone。

質問

SQL サーバーがこのフォルダーにアクセスできるようにするために、他にどのようなセキュリティを付与する必要があるかを理解するのを手伝ってもらえますか?

私は 2 つのプロセスを持つシステムを持っています。そのうちの 1 つは単一の挿入を行い、もう 1 つは一括挿入を行います。明らかに 2 番目のプロセスの方が高速であり、最初のプロセスを一括挿入メカニズムに移行する作業を行っていますが、今朝、同僚から「なぜ一括挿入は単一の挿入よりも高速なのか」という質問に困惑しました。

では、一括挿入が単一挿入よりも速いのはなぜでしょうか?

また、データベース アーキテクチャが完全に異なることを考えると、MySQL と HBase の一括挿入と単一挿入には違いがありますか? 私は自分のプロジェクトで両方を使用していますが、これら 2 つのデータベースの一括挿入と単一挿入に違いがあるかどうか疑問に思っています。

更新：以下を参照

データセットの[キー名]フィールドに入力する方法を理解したので、書き込み操作を2（8から）減らしました。しかし、私はまだこの余分な空の列「ID」を持っています。私はbulkloader.pyのさまざまな構成を試しましたが、その列にデータを入力できず、書き込み操作をさらに減らすことができます...

これが私が持っているものです：

これが私のcsvファイルのヘッダーといくつかのサンプル行です：

更新：さて、「キー名」列を犠牲にして「ID」列にデータを入力する方法を見つけました...

私はbulkload.pyを次のように変更しました：

csvファイルは次のようになります。

そして、データストアビューアの出力は次のようになります。

IDと[キー名]列にデータを入力して書き込み操作を4に下げる方法があるかどうか、まだ疑問に思っていますか？