問題タブ [cloudera-cdh]

バックエンドの一部をローカルで実行し、ローカル コンピューターから EC2 インスタンスにリクエストを送信する環境をセットアップしようとしています。CDH 4.5 をセットアップしましたが、問題なく動作します。次のリクエストを実行すると

これは、そのリージョン内の任意の EC2 インスタンスから機能しますが、それ以外では機能しません。ローカルで試すと、次のエラーが返されます

通話をこのようにリダイレクトしないように設定できる場所がわかりませんか?

どうもありがとう

マルチノード Hadoop クラスター (2.4.0) を Hive (0.13.0) でテストしています。クラスターは正常に動作しますが、ハイブでクエリを実行すると、mapred ジョブは常にローカルで実行されます。例えば：

hive-site.xml なし (実際には、デフォルト以外の構成ファイルなし) で、mapred.job.tracker を設定します。

そして、クエリを実行します:

何が欠けていますか？

私はこの問題に 2 日間取り組んできましたが、まだ方法が見つかりません。

問題: 最新の CDH 5 を介してインストールされた Spark は、Cloudera Manager の Parcels を介して HADOOP_LZO をインストールした後でも、常に LzoCodec クラスが失われていると文句を言います。CDH 5.0.0-1.cdh5.0.0.p0.47 で MR1 を実行しています。

修正を試みてください: 「LZO パーセルの使用」に関する公式の CDH ドキュメントの構成も追加されていますが、問題はまだ残っています。

Google で検索された投稿のほとんどは、上記と同様のアドバイスを提供しています。また、スパークは、そこでアクティブ化されていない YARN に対して実行しようとしていると思われます。しかし、CMF またはこのトピックに関する他の投稿で構成を見つけることができません。

対処法をご存知でしたら教えてください。

webhdfs API を介して HDFS からファイルを開こうとしています。ファイルを作成してアップロードできますが、開こうとするとこのエラーが発生します

次のコマンドを使用して

複数のマシンから（マスターノードから、またはリモートで）これを試しましたが、同じエラーが発生します。CHD4.6で動いています。

ありがとう、

これが MapReduce の適切な使用例かどうかはわかりません: 私が実装しようとしている OOZIE ワークフローの一部は、連番 (例: 1 から 20) で名前が付けられた一連のファイルをダウンロードすることです。これらのファイルを同時に (一度に 5 ファイル) ダウンロードしたかったので、次のように 5 つのテキスト ファイルを作成する Python スクリプトを作成しました。

次に、ワークフローの次のステップとして、download.shコンマ区切りの番号リストを使用して要求されたファイルをダウンロードするシェル スクリプトを作成しました。ワークフローでは、Oozie でストリーミングmapred.input.dirアクションをセットアップし、上記で生成されたファイルを含むディレクトリを入力 ( ) として使用し、download.sh をマッパー コマンドとして使用し、"cat" をレデューサー コマンドとして使用しました。Hadoop は上記の入力ファイルごとに異なるマッパーを生成すると想定しました。

これは時々うまくいくようで、ファイルを正しくダウンロードしますが、実行しようとしてスタックしてしまい、その理由がわかりません。同時ダウンロードの数を増やすと、これが発生することに気付きました (たとえば、txt ファイルごとのファイルではなく、20 などとします)。

私の質問は、これは MapReduce と OOZIE を使用してファイルの並列検索を実装する正しい方法ですか? そうでない場合、これは通常 OOZIE を使用してどのように行われますか? Hive スクリプトを実行する前に CSV ファイルを HDFS に取り込もうとしていますが、それを実現する最善の方法がわかりません。

まず最初に、クラスターに従って Apache Pig バージョン 0.11.0-cdh4.3.0 (再エクスポート) を実行しています。ただし、私のビルドでは 0.11.0-cdh4.5.0 を使用していますが、これは賢明な決定ではありませんが、両方とも Pig v0.11.0 であるため、ここで発生している問題とは関係ないと思います

構造的に次のようなスクリプトがあります (両方のカスタム udf が DataByteArray 型を返します。これは有効な Pig 型であることがわかります)。

Pig はこれを 2 つの mapreduce ジョブに分割します。CubeDimensions が最初のジョブで発生するか、2 番目で発生するかはわかりませんが、最初のジョブの削減段階で発生すると思われます。

したがって、2 番目のジョブのマッピング ステージでは、中間データを読み取るだけで、次のことが起こります。

「予期しないデータ型 49 がストリームに見つかりました。」@ org.apache.pig.data.BinInterSedes:422

番号が 48 と 49 の両方であり、BinInterSedes クラスにはどちらも存在しないことがわかりました。

http://grepcode.com/file/repository.cloudera.com/content/repositories/releases/org.apache.pig/pig/0.11.0-cdh4.3.0/org/apache/pig/data/BinInterSedes.java? av=f

しかし、これは豚自身の中間出力であるため、どこで問題が発生した可能性があるのか​​ よくわかりません。私のカスタム UDF はどちらも有効な型を返します。Pig は、認識している型のみを使用して確実に保存することを期待しています。

どんな助けでも大歓迎です。

CDH5を使用しています。kerberos を使用するように Hive メタストアをセットアップしました。つまり、hive-site.xml には次のプロパティがあります。

ログには、hive-metastore サービスの開始時にエラーは表示されません。

Oozie ワークフローでハイブ アクションを実行しようとしています。oozie-site.xml ファイルには次のプロパティがあります。

ワークフロー xml ファイルには資格情報タグが含まれています。

ハイブ アクションは、'cred' 属性を使用して資格情報を参照します。

このワークフローを実行しようとすると、次のエラーが発生します。

この問題の原因は何ですか？

cdh spark tarball 経由で spark をインストールする方法を考えていました。spark tarball はここにあります。

CDH ドキュメントに記述が見つかりません。
Spark Standalone と Spark on yarn を試してみたいと思います。