問題タブ [apache-whirr]

Whirr を使用して、Hadoop と Hbase を使用して EC2 でテスト クラスターを作成しようとしています。

いくつかのサイトからの指示に従ってください：

• http://whirr.apache.org/docs/0.7.0/whirr-in-5-minutes.html
• http://www.bigfastblog.com/run-the-latest-whirr-and-deploy-hbase-in-minutes
• http://dal-cloudcomputing.blogspot.com/2011/06/how-to-set-up-hadoop-and-hbase-together.html

私が問題なく実行した手順 (または、それが私の考えです...):

• ssh-keygen -t rsa で ssh キーペアを生成します
• キー、amis、ゾーン、およびノー​​ド数 (1 マスター、1 データノード) で hbase レシピを変更します。
• クラスタを起動

この時点で、AWS パネルに 2 つの新しい EC2 インスタンスが表示され、両方に ssh 経由で接続できますが、これは自宅でしか表示されません。

と

実行しようとしました（別の端末で）

しかし、この時点では、ガイドに従うことはできません (hadoop、hbase などを実行します)。

Amazonインスタンスでwhirrを使用してインスタンスを起動したいのですが、標準化されたwhirrコマンドを使用してクラスターを起動しようとすると、hadoopクラスター名の後に存在しない「myclutster」というディレクトリ名が検索されます。これはない？

私は Whirr を初めて使用し、Whirr を使用して EC2 で Hadoop クラスターをセットアップしようとしています。Cloudera のチュートリアルに従っています https://ccp.cloudera.com/display/CDHDOC/Whirr+Installation

Whirr をインストールする前に、Hadoop (0.20.2-cdh3u3) をインストールしてから、Whirr (0.5.0-cdh3u3) をインストールします。

これが私のクラスター構成ファイルです

クラスターの起動は正常に見えます

また、プロキシを開始し、Cloudera のチュートリアルに従ってローカルの Hadoop 構成を更新しましたが、HDFS をテストしようとしたときにhadoop fs -ls /

端末は接続エラーを出力します：

プロキシ端末で

namenode の webUI (50070 ポートも利用できません)、namenode に ssh できますが、namenode の内部では、Hadoop も Java もインストールされていないように見えますが、これは奇妙なことですか?

whirr を使用して ec2 にインストールされている Hadoop バージョンを制御するにはどうすればよいですか。次の 2 行が構成ファイルであることがわかります

whirr.hadoop-install-function=install_cdh_hadoop whirr.hadoop-configure-function=configure_cdh_hadoop

しかし、インストールするバージョンをどのように制御するのでしょうか?

CDH3またはCDH4?

また、MVR1 または MVR2?

次のコマンドを使用して Whirr をインストールする場合:

mvn クリーン インストール

このエラーが発生します:

プロジェクト whirr-core で目標を実行できませんでした: プロジェクト org.apache.whirr:whirr-core:jar:0.1.0+23 の依存関係を解決できませんでした: 次の成果物を解決できませんでした: com.google.code.guice: guice:jar:2.1-r1201、javax.inject:inject:jar:1.0: http://jclouds.googlecode.com/svn/repoで com.google.code.guice:guice:jar:2.1-r1201 が見つかりませんローカルリポジトリにキャッシュされていた場合、jclouds の更新間隔が経過するか更新が強制されるまで、解決は再試行されません -> [ヘルプ 1]

このエラーはどのように解決できますか? ありがとうございました！

現在、Jeffery Breen のチュートリアルに取り組んでいます。Whirr で ec2 クラスターを起動したいときに、いくつか問題が発生しました。Cloudera デモ vm cdh3u4 を使用します。

whirr のバージョン 0.8.1 をダウンロードしました。

私が実行したすべてのコマンドは次のとおりです。

次に、キーを安全に保管するファイルを尋ねられたので、「hadoop-ec2」と入力しました。

...そしてここに問題があります: 起動されたインスタンスがありません! 次のメッセージを受け取りました。

次に行ったのは、Jeffrey Breen がチュートリアルで公開したファイルにプロパティ ファイルを直接リンクすることで、次の結果が得られました。

これは正しい方向への一歩でしたか? はいの場合、それが機能するために何をしなければなりませんか?

私は非常に初心者なので、あなたの助けに本当に感謝しています。私が言ったように初心者なので、可能であれば、できるだけ「明確」にしてください。

次のステップは、次のコマンドを実行することです。

チュートリアルを続行できるように、ここでいくつかの助けを見つけたいと思っています。

Whirr 構成ファイル:

Oracle JDK 7によってコンパイルされたmap-reduceプログラムがいくつかあります。そして、whirr 0.8.1を使用して、それらを実行するEC2クラスターをセットアップしようとしています。ただし、whirr0.8.1によってインストールされたデフォルトのJDKはOpenJDK 6のようであり、実行中に次のエラーが発生しました。

サポートされていないmajor.minorバージョン51.0

したがって、次のように設定して、whirrのJDKバージョンを指定しようとしました。

whirr.java.install-function = install_oracle_jdk7

ただし、これによりインストールプロセスが失敗し、次のスクリプトを変更しようとしても役に立たないようです。

whirr-0.8.1 \ core \ src \ main \ resources \ features \ install_oracle_jdk7.sh

whirrを介してEC2クラスターにJDK7をインストールする方法を知っている人はいますか？

Raviに感謝します。あなたのページに記載されている次の情報は、私が見逃した重要な部分です。

... whirrインストールディレクトリに関数ディレクトリを作成し、変更されたすべてのシェルスクリプトをそこに配置できることがわかりました...

変更したinstall_oracle_jdk7.shをwhirr-0.8.1\Functionsに配置しようとしましたが、これは実際に機能します。以下は、install_oracle_jdk7.shでの私の変更です。

(delete)
url=http://download.oracle.com/otn-pub/java/jdk/7/jdk-7-linux-i586.tar.gz
if [ "x86_64" == "$arch" ]; then
url=http://download.oracle.com/otn-pub/java/jdk/7/jdk-7-linux-x64.tar.gz
fi
(add)
url=http://download.oracle.com/otn-pub/java/jdk/7u9-b05/jdk-7u9-linux-i586.tar.gz
if [ "x86_64" == "$arch" ]; then
url=http://download.oracle.com/otn-pub/java/jdk/7u9-b05/jdk-7u9-linux-x64.tar.gz
fi
(delete)
curl $url -L --silent --show-error --fail --connect-timeout 60 --max-time 600 --retry 5 -o $tmpdir/`basename $url`
(add)
wget -c --no-cookies --header "Cookie: gpw_e24=http%3A%2F%2Fwww.oracle.com%2F" $url --output-document=$tmpdir/`basename $url`

カスタム AMI イメージのクラスターを起動しようとしています。AMI イメージは、Java がインストールされた Amazon フリー ティアの選択からの Ubunutu 12.04 サーバー イメージです (実際には、numpy と scipy で AMI を作成したいと考えています)。実際、ロールとして whirr と noop を使用して Ubuntu 12.04 インスタンスを起動して、そのイメージを作成しました。次に、Java をインストールし、AWS オンライン コンソールで [Create Image (EBS AMI)] を選択しました。image-idのみを変更して、元のubuntuサーバーを起動するために使用したのと同じwhirrレシピスクリプトを使用しています。

Whirr がイメージを起動すると、コンソールに表示されます。次に、noop に対して InitScript を実行しようとしますが、何も起こりません。10 分後、スクリプトの実行時間が長すぎるために例外がスローされます。whirr.log にはレコードが含まれています

チュートリアルの 1 つで言及されているこのエラーを見ました。提案された解決策は、行を追加することでした。

whirr.bootstrap-user=ec2-user

JCloudにユーザー名を知らせます。これが正しいユーザー名であることはわかっていますが、デフォルトで使用されていました。行を追加した後、whirr.log は認証エラー、公開鍵の問題を示します。最後に、「ubuntu」をユーザーとして使用すると、エラーが死にかけています。なぜなら - java.net.SocketTimeoutException: Read timed out

クラスターを起動するために使用するファイルは次のとおりです

Apache Whirr を使用して ec2 に hbase/hadoop クラスターをセットアップしましたが、namenode (hbase マスター) に ssh して実行すると、実行$JAVA_HOME/bin/jps中のすべてが jps であり、hbase または namenode について言及されていません。しかし、私は両方と一緒に仕事をすることができたので、彼らは走っています。これについての説明はありますか？

クイックスタート ガイドhttp://whirr.apache.org/docs/0.8.1/quick-start-guide.htmlの例に従って、whirr Hadoop クラスターを開始したいと思いました。残念ながら、Whirr: Cannot connect to Hadoop cluster on EC2 after lauch-cluster というエントリと同じエラーが表示されます。Hadoop のダウンロード時にすでに何らかの問題が発生しているように見えるクラスターを起動したときの出力が表示されます。何か案は？ありがとう！

bin/whirr launch-cluster --config ~/.whirr/hadoop.propertiesアイデンティティ AKIAJUS7X6OK3HC3SJMQ を使用してプロバイダー aws-ec2 で実行中(s) ロール [hadoop-datanode, hadoop-tasktracker] ロール [hadoop-jobtracker, hadoop-namenode] で 1 ノードを開始

ノード (us-east-1/i-6343df03) で InitScript{INSTANCE_NAME=bootstrap-hadoop-jobtracker_hadoop-namenode} を実行中 ノード (us-east-1/i- 6143df01)

<< ノード (us-east-1/i-6143df01) で InitScript{INSTANCE_NAME=bootstrap-hadoop-datanode_hadoop-tasktracker} を実行中にエラーが発生しました: {output=この関数は何もしません。Statements.call("retry_helpers") が存在しないものを呼び出さないように、存在する必要があります .... .... http://apache.osuosl.org/hadoop/common/hadoopをダウンロードできませんでした-1.0.4/hadoop- 1.0.4.tar.gz.md5. つづく。hadoop-1.0.4.tar.gz のダウンロードに失敗しました。中止しています。、エラー = dpkg-preconfigure: stdin を再度開くことができません: