問題タブ [bigtop]

私は、Bigtop 0.5.0 リポジトリと Sun Java 1.6 を備えた最小限の CentOS 6.3 の比較的クリーンなインストールを使用しています。こちらの手順に従って、Bigtop リポジトリを追加します。

yum を使用して Hadoop common と Oozie をインストールしました。sudo service oozie init を実行して oozie を構成し、Bigtop 0.6.0 の init-hdfs.sh ファイルのコマンドを使用して HDFS パスを設定しました。

Java とストリーミング マップ削減ジョブを問題なく実行できます。Bigtop にバンドルされている Oozie ストリーミング サンプルも実行できます。残念ながら、map-reduce の例を実行しようとすると、java.lang.ClassNotFoundException が発生します。

HDFS 監査ログから、oozie-examples-3.3.0.jar ファイルが検査されたものの開かれなかったことがわかります。ワークフローが実行されているときの監査ログの jar ファイルのエントリは、次の 4 つだけです。

ポート 8088 の Web コンソールから取得したコンテナー ログには、次の例外が表示されますが、それ以上の手がかりはありません。

ワークフローの失敗したステージが実行されている間に、一時ディレクトリから job.xml ファイルを取得することができました。jar ファイルがクラスパス プロパティに追加されていることがわかります。

...しかし、クラスは明らかにまだ見つかりません。すべてのコンポーネントのすべてのデバッグを DEBUG に設定しましたが、これ以上の手がかりは見つかりません。

何かを誤って設定しただけですか、それとも実際にはバグですか? 私は次に何をすべきか本当にわかりません。

Ubuntu 12.04 に Bigtop 0.7.0 をインストールし、問題なくマスター サーバーを起動しました。

hbaseシェルで接続してテーブルを作成できました。

PCを再起動した後、テーブルがもう存在しないことがわかりました。

問題は、再起動後にクリアされる /tmp にテーブルを保存することであると読んだので、構成 hbase-site.xml を変更して別のフォルダーを設定しようとしました。

デフォルトの hbase-site.xml は次のとおりです。

(プロパティが定義されていません)

hbase-site.xml に記述した後、再度 hbase マスターを起動しようとしたところ、サーバーに接続できないという Zookeeper クライアントの例外が発生しました。

これを正しく設定する方法について、または私が認識していない他の問題がある場合は、アドバイスをお願いできますか?

編集（コメントから）：

私の hbase-site.xml は次のとおりです。

Apache BigTop がどのように機能し、テスト ケースをどのように実行できるかを理解しようとしています。いくつかの情報がここに記載されていますが、次のような側面についてはまだあまり明確ではありません-テストアーティファクト/実行はどのように機能しますか? テスト ケースを変更するにはどうすればよいですか? POM ファイルのしくみ

私のような初心者向けの正確なフローチャートはどこにありますか?

私はこれらの指示に従って Apache Bigtop をセットアップし、最終的には Oozie の実行をサポートします。Oozie のインストールを Hadoop 2+ で実行したい場合、Oozie の Web サイトで Bigtop の使用が推奨されているため、Bigtop を使用しようとしています。

ステップ実行後

次のエラー メッセージが表示されます (完全なメッセージはこちら)。

ウェブを精査すると、 /.m2 リポジトリを手動で削除してから再構築することでこれを修正できると言う人もいます。私はこれを無駄にしようとしました。

Java openjdk7で完全に更新されたUbuntu 14.04を使用しています。私が行ったことと指示の唯一の違いは、Maven を apt-get から直接インストールしたことです。したがって、指示で使用する MAVEN_HOME の場所を自分のものに置き換えました。

こちらの情報も参考になるかも…

問題の可能性があるアイデアはありますか? ガイドが書かれたときよりも少し新しいバージョンの Ubuntu を使用していることに気付きましたが、それが問題だとは思いません。これは、ある種の Java/Maven 依存関係の問題のようです。

Ambari を使用して Apache BigTop スタックをインストールするためのチュートリアルまたは手順を提供できますか。以下のファイルで提供されているリポジトリを使用してみました

https://github.com/apache/ambari/blob/trunk/ambari-server/src/main/resources/stacks/BIGTOP/0.8/repos/repoinfo.xml

ただし、bigtop スタックが ambari ダッシュボード UI に表示されません。

HDP スタックを使用してインストールしたくありません。

私はフルームに問題があります。私はビッグデータを取得しようとしているため、「ダミー用」の本のチュートリアルを使用しています。これまでのところ、他のものは多かれ少なかれ機能していますが、flume エージェントにはいくつかの問題があります。

これが私が取り組んでいるチュートリアルです。

チュートリアルに従ってすべてを実行すると、ターミナル出力は次のようになります。

そこから先はどうにもなりません。端末をシャットダウンするまで、このままです。

エージェントに telnet で接続しようとしましたが、メッセージが表示されません。

何がうまくいかなかったのですか？