問題タブ [phoenix]

これとこの論文を読んだ後、学部論文の仕事として、MapReduceに大規模なデータセット用の分散ボリュームレンダリングセットアップを実装することにしました。Hadoopは合理的な選択ですか？Javaであると、パフォーマンスが向上したり、CUDAとの統合が困難になったりしませんか？フェニックス++はその仕事のためのより良いツールでしょうか？

完全分散モードの 3 台のマシンで hadoop1.0.3 を構成しました。最初のマシンでは以下のジョブが実行されています。

1) 4316 SecondaryNameNode 4006 NameNode 4159 DataNode 4619 TaskTracker 4425 JobTracker

2) 2794 TaskTracker 2672 DataNode

3) 3338 DataNode 3447 TaskTracker

単純なマップ削減ジョブを実行すると、マップ削減ジョブの実行に時間がかかります。そのため、Hadoop に HBASE レイヤーをインストールしました。3 つのクラスターで HBASE のプロセスを以下に示します。

1) 5115 HQuorumPeer 5198 HMaster 5408 HRegionServer

2) 3719 HRegionServer

3) 2719 HRegionServer

今私は指示に従ってフェニックスをインストールしました：

https://github.com/forcedotcom/phoenix#installation しかし、Phoenix クライアントをインストールする場所がわかりません?? 同じマスター マシンにインストールしましたが、次のコマンドを呼び出すことができません。

./psql.sh master(飼育係名) ../examples/web_stat.sql ../examples/web_stat.csv ../examples/web_stat_queries.sql

以下のエラーが発生します。

cmd を実行します。

./jsvc64/jsvc64 -pidfile ./log/jsvc.pid -outfile ./log/out.txt -errfile ./log/error.txt -Xmx512m -Djava.util.Arrays.useLegacyMergeSort=true -cp :./tools /lib/ :./tools/ com.g2us.hbase.cmdlog.monitor.CmdLogHbase ./

SQL:

UPSERT INTO CMDLOG_20130818(game,roleid,otime,logtype,passport,subgame,cmdid,exception,moreinfo,pname_0,pname_1,pname_2) VALUES(?,?,?,?,?,?,?,?,?,?, ?,?)

90000 行のデータをアップサートすると、例外が発生しました。

それを解決する方法。

phoenix経由でhbaseに接続しようとしています。まず、 hbase lib ディレクトリに追加しました。次に、リージョン サーバーを再起動してから、netbeans でプロジェクトを作成し、プロジェクトのクラスパスに を追加します。次に、以下の行をfor hbase と phoenix に追加しました。 phoenix-2.jarphoenic-2-client.jarhbase.site.xml

私の hbase は疑似分散モードです。最後に、hbase に接続するために netbeans で次のコードを書きました。

しかし、このエラーが表示されます:

ガイドしてください..

hbase に接続するには、次のコードを記述します。

しかし、実行後に次のエラーが表示されます:

何が問題なのか理解できません。hbase 0.94.10 と Zookeeper 3.4.5 を個別にインストールしましたが、構成が正しいかどうかわかりません。正しく構成する方法を教えてください。

私は、残りのデータを取得し、フェニックスを使用してhbaseに同じデータを挿入するWebアプリを開発しようとしています。アプリケーションを tomcat にデプロイしようとしましたが、正常に動作します。ただし、jboss へのデプロイ中に次のランタイム例外がスローされます。

原因: java.lang.RuntimeException: hbase-default.xml ファイルは古いバージョンの HBase (null) 用のようです。このバージョンは org.apache.hadoop.hbase.HBaseConfiguration.checkDefaultsVersion(HBaseConfiguration.java で 0.94.7 です。 :68) org.apache.hadoop.hbase.HBaseConfiguration.addHbaseResources(HBaseConfiguration.java:100) で org.apache.hadoop.hbase.HBaseConfiguration.create(HBaseConfiguration.java:111) で com.salesforce.phoenix.query で。 ConfigurationFactory$ConfigurationFactoryImpl.getConfiguration(ConfigurationFactory.java:51) com.salesforce.phoenix.query.QueryServicesOptions.withDefaults(QueryServicesOptions.java:99) com.salesforce.phoenix.query.QueryServicesImpl.(QueryServicesImpl.java:44) でcom.salesforce.phoenix.jdbc.PhoenixDriver.(PhoenixDriver.java:67) at com.salesforce.phoenix.jdbc.PhoenixDriver.(PhoenixDriver.java:58) ... 11 もっと見る

最初に、クラスパスには2つのデフォルトxmlがあり、2つのうちの1つがhbase jarの古いバージョンのものであるため、エラーがスローされると考えました。しかし、クラス パスには hbase jar がありません。phoenix-2.0.1-client.jar は 1 つだけです。その後、次のことを試しました

1. hbase-site.xml で「hbase.default.for.version.skip」を true に設定し、それをクラスパスに追加します
2. hbase-default.xml で「hbase.default.for.version.skip」を true に設定する
3. 実験のために、hbase-default.xml も削除してみました。

これまでのところ何も機能していません。結果は一定です。Cloudera hbase cdh 4.4 を使用しています。どんな助けでも大歓迎です。前もって感謝します。

フェニックス経由で hbase にテーブルを作成しました。Phoenix から削除した後に hbase テーブルが削除されないのはなぜですか。また、その逆も同様です。

Phoenix からテーブルを削除すると、Hbase から直接削除するよりもかなり時間がかかるのはなぜですか?

RDBMS から HDFS Hadoop ファイル システムにデータを移行します。RDBMS からのデータはファイルとして変換され、hadoop にアップロードされます。MapR M7 を使用しています。MapR M7 を Phoenix と統合することは可能ですか?