1

Hadoopをインストールしてテストしましたが、n00bの手順が見つかりません。

cascadingとcascading.jrubyを設定する方法。カスケードジャーを配置する場所と、ルビーアセンブリを正しく構築するためにジェイを構成する方法は？

これを自動的に構築するためにjenkinsを使用している人はいますか？

編集：詳細https://github.com/etsy/cascading.jrubyからサンプルの単語カウントジョブを作成しようとしています

インストールしました

  1. hadoopを実行し、テストを正常に実行します。
  2. インストールされたjruby
  3. gem install cascading.jruby
  4. 翡翠-https ://github.com/etsy/jading

  5. インストールされたアリ

  6. 単語数サンプルwc.rbを作成しました

  7. jadeを実行して、wc.rbをjarにコンパイルします

    翡翠wc.rb

  8. 次のコンパイルエラーが発生します

    Buildfile：build.xmlは存在しません！ビルドに失敗しましたRuntimeError：/ usr / bin / hjade：89でAntの取得に失敗しました（root）

翡翠のコードを見るのは理にかなっていますが、これは使用例ではカバーされていませんか？ここで何が欠けていますか？

4

3 に答える 3

7

遅れて申し訳ありません; これが私の最初の答えです。

あなたが説明する問題、Jadingがシンボリックリンクから呼び出されたときにAntビルドスクリプトを見つけることができないということは、確かに問題です。シンボリックリンクを作成するのではなく、JadingクローンをPATHに追加することをお勧めします（またはプルリクエストを送信して問題を修正してください！）。

他の懸念事項のいくつかに対処するために、JadingwikiにGettingStartedページを作成しました。これは役立つ場合があります。前提条件（Java、Ant、JRuby、およびHadoop client + config）以外のものをインストールせずに、ローカルおよびリモートのcascading.jrubyジョブを起動して実行する手順を説明します。現在含まれているのは、ローカルとHadoopクラスターの両方で機能する完全なサンプルの単語数スクリプトであり、Etsy自身の内部クラスターでテストされています。

そして、Jenkinsに関する質問に対処するために、さらにバックアップを取ります。そうです、Etsyでは、Jenkinsを使用してcascading.jruby（およびScalding）をビルドしてクラスターにデプロイしています。ただし、そのビルドプロセスは現在、Jadingを使用してジョブjarを生成していません。私たちのビルドはJadingよりも前のものであり、Jadingは、そのjarをビルドするために実行するプロセスのよりクリーンなバージョンをリリースする試みでした。私たちのビルドはJadingを簡単に使用できます（元の例はコードの実際の使用から得られたものです）が、ビルドによって生成されるアーティファクトの要件はわずかに異なります。

Jadingで他に問題がある場合は、問題を送信するか、githubプロジェクトにリクエストをプルしてください。

于 2013-03-22T16:31:39.357 に答える
0

jrubyを使用している場合。バンドラーも使用している必要があります。その場合、gemfileの依存関係としてcascading.jrubyを追加できます。

とにかく、プロジェクトフォルダから次のようにインストールしてみてください。

gem install 'cascading.jruby'

お役に立てれば。

于 2013-03-16T13:50:54.290 に答える
0

私は今、作業をエンドツーエンドで行っています。/ usr / local/binにhadoopへのシンボリックリンクを作成しました。

サポートファイルを見つけるには、スクリプトを独自のディレクトリから実行する必要があります

つまり、次のように機能します:( cascading.jrubyの例が〜/ dev / cascading.jruby.demo/wc.rbにあると仮定します

cd /usr/local/jading
./jade ~/dev/cascading.jruby.demo/wc.rb

# creates a jade.jar locally in jading folder
cd /usr/local/hadoop
./bin/hadoop jar /usr/local/jading/jade.jar ~/dev/cascading.jruby.demo/wc.rb ~/dev/cascading.jruby.demo/sampledata/in.txt
于 2013-03-17T07:24:59.447 に答える