問題タブ [hadoop-plugins]

https://issues.apache.org/jira/browse/HDFS-385にあるような Hadoop パッチのインストール方法を知っている人はいますか?

プラグ可能なインターフェイスが機能するように、元のコードを何をどのようにオーバーライドすればよいかわかりません。

誰かヒントをくれませんか？

ありがとう

initscript hadoop-0.20-mapreduce-tasktracker、アクション「開始」に失敗しました。これは、namenode でも発生しています。私は答えを見つけようとしましたが、そうすることができませんでした。これは、apt-get を使用してタスク トラッカーをインストールしようとしたときに発生しました。

私は Hadoop が初めてで、必要な開始を取得できるように、これに関する基本的な例を見つけることができません。ここで質問するのが適切かどうかはわかりませんが、これに関連する専門家が私を助けてくれると思います.

例やドキュメントでこれを手伝ってください。

前もって感謝します

パワン

テーブルへの挿入中に重複エントリの問題に直面しています。

ファイルからレコードを読み取るためにHadoopマッパーを使用しました。ファイルからレコードを完全に読み取ることに成功しましたが、Hadoopレデューサーによってmysqlデータベースにレコードを書き込んでいるときに、次のエラーが発生しました。

java.io.IOException: キー「PRIMARY」のエントリ「505975648」が重複しています

しかし、Mysql テーブルは空のままです。Hadoop DBWritable Reducer から mysql テーブルにレコードを書き込むことができません。

以下はエラーログです：

警告: com.mysql.jdbc.exceptions.jdbc4.MySQLNonTransientConnectionException: Connection.close() は既に呼び出されています。この状態での操作は無効です。sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method) で sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:57) で sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45) で java.lang.reflect.Constructor .newInstance(Constructor.java:526) com.mysql.jdbc.Util.handleNewInstance(Util.java:406) com.mysql.jdbc.Util.getInstance(Util.java:381) com.mysql.jdbc. SQLError.createSQLException(SQLError.java:984) com.mysql.jdbc.SQLError.createSQLException(SQLError.java:956) com.mysql.jdbc.SQLError.createSQLException(SQLError.java:926) com.mysql.jdbc .

2014 年 6 月 4 日 1:23:36 PM org.apache.hadoop.mapred.LocalJobRunner$Job run 警告: job_local_0001 java.io.IOException: org.apache.hadoop.mapred のキー「PRIMARY」のエントリ「505975648」が重複しています。 org.apache.hadoop.mapred.ReduceTask$OldTrackingRecordWriter.close(ReduceTask.java:467) の lib.db.DBOutputFormat$DBRecordWriter.close(DBOutputFormat.java:77) org.apache.hadoop.mapred.ReduceTask.runOldReducer( ReduceTask.java:531) で org.apache.hadoop.mapred.ReduceTask.run(ReduceTask.java:421) で org.apache.hadoop.mapred.LocalJobRunner$Job.run(LocalJobRunner.java:262) で

iTunes EPF ファイルを読み取り、それらのレコードを mysql データベース テーブルに挿入するプロセスを完了しました。

レコードを挿入する前に、指定されたレコードがデータベースに存在するかどうかを確認する必要があります。レコードが存在しない場合は、レコードを挿入します。ただし、レコードがデータベースに既に存在する場合は、mysql で対応するレコードを更新する必要があります。

mysql でレコードの存在を確認する方法。このチェックはMapperまたはReducerクラスで実行できるかどうか..？同様に、レコードが存在する場合、レコードを更新する方法。

私は Hadoop の初心者ガイド ブックをチュートリアルとして使用している Hadoop の初心者です。

Mac osx 10.9.2 と Hadoop バージョン 1.2.1 を使用しています

ターミナルで echo $PATH を呼び出すときに、適切なクラスパスをすべて設定しました。

これが私が得る結果です：

/Library/Frameworks/Python.framework/Versions/2.7/bin:/Users/oladotunopasina/hadoop-1.2.1/hadoop-core-1.2.1.jar:/Users/oladotunopasina/hadoop-1.2.1/bin:/ usr/share/grails/bin:/usr/share/groovy/bin:/Users/oladotunopasina/.rvm/gems/ruby-2.1.1/bin:/Users/oladotunopasina/.rvm/gems/ruby-2.1.1 @global/bin:/Users/oladotunopasina/.rvm/rubies/ruby-2.1.1/bin:/usr/local/heroku/bin:/usr/bin:/bin:/usr/sbin:/sbin:/usr /local/bin:/Users/oladotunopasina/.rvm/bin:/Users/oladotunopasina/.rvm/bin

WordCount1.java をコンパイルしようとしましたが、次のエラーが発生します。

親切に助けてください。

Java コード内で Hadoop のデフォルトのレコード リーダーをオーバーライドしたいと考えています。デフォルトでは、レコードを 1 行ずつ読み取ります。「:」に遭遇したときに変更し、レコードを区切ります。ただし、レコードを区切りながら、区切り記号も発行します。たとえば、私の記録は次のとおりです。

レコードが読み取られると、次のように生成されます。

ただし、区切り文字「:」はなくなりました。この区切り文字を記録に残す方法はありますか? デリミタには重要な情報が含まれている可能性があるためです。

HDFS、Datanode、namenode、および hbase を構成しました。CDR csv ファイルを HDFS に保存しました。では、どうすればそれを Hbase にマップして、処理できるように準備できるのでしょうか?