問題タブ [oryx]

Hadoop 2.4 で Oryx を実行しようとしています。Hadoop が正常に起動し、次の警告が表示されます。

WARN util.NativeCodeLoader: お使いのプラットフォームのネイティブ Hadoop ライブラリをロードできません... 該当する場合は組み込みの Java クラスを使用してください。

オリックスも無事始動。しかし、データを取り込むと、次の例外がスローされます:

2014-08-22 14:35:05,835 エラー [37788 の IPC サーバー ハンドラー 3] org.apache.hadoop.mapred.TaskAttemptListenerImpl: タスク: 試行_1408697508855_0002_m_000000_0 - 終了: org.apache.hadoop.util.NativeCodeLoader.buildSupports2Snappy() -08-22 14:35:05,835 INFO [37788 の IPC サーバー ハンドラー 3] org.apache.hadoop.mapred.TaskAttemptListenerImpl: attempts_1408697508855_0002_m_000000_0 からの診断レポート: エラー: org.apache.hadoop.util.NativeCodeLoader.buildSupportsSnappy4()Z 201 -08-22 14:35:05,837 INFO [AsyncDispatcher イベント ハンドラー] org.apache.hadoop.mapreduce.v2.app.job.impl.TaskAttemptImpl: Attempt_1408697508855_0002_m_000000_0 からの診断レポート: エラー: org.apache.hadoop.util.NativeCodeLoader。 buildSupportsSnappy()Z 2014-08-22 14:35:05,840 INFO [AsyncDispatcher イベント ハンドラー] org.apache.hadoop.mapreduce.v2.app.job.impl.TaskAttemptImpl:Attempt_1408697508855_0002_m_000000_0 TaskAttempt が RUNNING から FAIL_CONTAINER_CLEANUP に遷移しました

誰かが以前にそのような問題に直面したことがありますか? どんな種類の助けもかなりのものです！

Ubuntu で実行されている Oryx があります。推奨事項を更新するために、いくつかのディレクトリから csv ファイルを読み取るように構成されています。必要なのは、推奨事項の完全なリスト (すべてのユーザーと各ユーザーごとに 100 の推奨事項) を取得して、それを Postgres データベースに挿入することです。これらの推奨事項を取得するにはどうすればよいですか? API では、1 人のユーザーのおすすめを取得することしかできません。

Google Compute Engine で Oryx を起動して実行しようとしています。新しいインスタンスを作成し、次の方法で Oryx をインストールしました。

このインストールを Google Compute Engine にイメージとして保存しました ("oryx-image")。

Oryx と Google ファイル システム ( Hadoop 2.4.1 および Hadoop 用の Google Cloud Storage コネクタ) に関する問題の検索 私は hdfs:// をデフォルトのファイル システムとして使用しています。

Google Compute Engine で起動されたデフォルトの Hadoop パッケージに関する問題 (たとえば、デフォルトのOryx 構成に必要な Snappy ライブラリがない) を見つけたので、次の手順に従って Snappy を含む独自の Hadoop 2.4.1 tarball を作成してみました:方法Google Compute Engine の Hadoop クラスターで Snappy/Snappy Codec を有効にします (補足: ここで説明する jdk バージョンは oryx に十分ですか?)。次に、保存したイメージを oryx をインストールして使用しました ("oryx-image"):

保存した Hadoop tarball:

Hadoop 2.4.1 (Snappy を使用) クラスター (デフォルトのファイル システムは hdfs://) を Google Compute Engine にデプロイします。まだ運がありません。

GCE でテスト Hadoop ジョブを正常に実行し、GCE で Snappy 実装をテストし ( 2 番目のリンクを参照)、GCE で Oryx ジョブをマスター ノードからローカルでテストできます。

唯一の問題は、hdfs:// または gs:// のデータを使用して Google Compute Engine で Oryx を正常に実行することです。

環境変数の変更などに関する多くのさまざまな指示を見つけましたが、どれが必要で、どれがより多くの問題を引き起こす可能性があるかわかりません。GCE での oryx のインストール/実行に関するドキュメントがあるかどうか疑問に思っていました。おそらく、誰かがすでに同じプロセスを経ており、指示を提供したり、少なくともインストールが成功したことを確認したりできますか?

GCE に Snappy を使用して Hadoop 2.4.1 をインストールするための手順 ( 2 番目のリンクにあります) はすばらしいものでした。oryx を GCE でゼロから動作させるために必要なすべての手順について、そのレベルの詳細を備えたものを見つけたいと思っていました。

ありがとう！

私たちのクライアントは oryx エディターを使用してブラウザーで bpmn をレンダリングしています。現在、彼らは私に Bpmn ダイアグラムの画像をキャプチャして保存するように依頼しています。BPMNをjpeg、svg形式に変更できるJavaまたはJavaScriptの何かがありますか。

これを行う方法を教えてください

前もって感謝します

CDH5.5 をインストールしており、仮想マシン内でいくつかの oryx2 サンプルを実行したいと考えています。

github から oryx2 をダウンロードしてコンパイルしました。サンプルアプリを、oryx-run.sh が配置されている ORYX_HOME/deploy/bin フォルダーにコピーしました。また、wordcount-example.conf を追加し、als ファイルから oryx.conf ファイルを追加しました (その中の kafka-brokers と zk-servers を指定しました)。

Kafka をセットアップしたり、いくつかの例を実行したりしようとしましたが、常に同じエラーが発生します。

Kafka スクリプトを同じ oryx-run スクリプト フォルダーにコピーしようとしましたが、残念ながら同じエラーが発生しました。

何か案が？

よろしく。

問題: ALS の例で oryx サービス レイヤーを開始すると、次の例外が発生します。

コンテキスト: Docker コンテナー内の CDH 5.7 で実行しています。compute-classpath が示唆するように、すべての jar は予想される場所にあり、必要なトピックで kafka (0.8.2.0) が稼働しています。

構成:

開始コマンドの例: /oryx-run.sh serving --conf als-example.conf --app-jar oryx-serving-2.1.2.jar または /oryx-run.sh serving --conf als-example.conf --app-jar example.jar

どんな提案でも大歓迎です:-)