問題タブ [cloudera-quickstart-vm]

Linux Red Hat で cloudera クイックスタート 5.5 を使用しています。色相でメタストア テーブルを作成しようとしましたが、これらのテーブルも hive2 ではなく hive1 で作成されました。したがって、ハイブラインでクエリを実行すると、クエリとショーテーブルは機能しますが、ビーライン (hive2) は空です (ショーテーブルは表示されません)。色相または他の方法でテーブルを作成して、ビーラインでクエリを参照できるようにするにはどうすればよいですか? ありがとう。

Cloudera クイックスタート VM を使用しています。昨日、Googleクラウドプラットフォームをいじり始めました。cloudera hdfs のデータを 1. google クラウド ストレージ (gs://bucket_name/) 2. google クラウド hdfs クラスター (hdfs://google_cluster_namenode:8020/ を使用) にコピーしようとしています。

1. サービス アカウント認証を設定し、この投稿の指示に従って cloudera core-site.xml を構成しました

   /li>

正常に動作します。ただし、distcp を使用して Google クラウド ストレージにコピーすることはできません。次のエラーが表示されます。URI の問題ではないことはわかっています。私が見逃しているものは他にありますか？

2. distcp で Google クラウド hdfs namenode に接続できません。「サーバーへの接続を再試行しています」というメッセージが表示されます。cloudera hdfs クラスターと google cloud hdfs クラスター間の接続を構成するためのドキュメントが見つかりませんでした。私は、サービス アカウントの認証が Google hdfs でも機能するはずであると想定していました。クラスター間のコピーをセットアップするために使用できるリファレンス ドキュメントはありますか? 不足している他の認証設定はありますか?

Cloudera Virtual Machine に付属する Spark チュートリアルを実行しようとしています。しかし、正しい行末エンコーディングを使用していても、大量のエラーが発生するため、スクリプトを実行できません。このチュートリアルは、Courseraビッグ データ分析入門コースの一部です。割り当てはここにあります。

だからここに私がやったことです。IPython シェルをインストールします (まだ完了していない場合)。

シェルを開く/起動します (1.2.0 または 1.4.0 のいずれか):

行末を Windows スタイルに設定します。これは、ファイルが Windows エンコーディングであり、コースでそうするように言われているためです。これを行わないと、他のエラーが発生します。

CSV ファイルを読み込もうとしています:

しかし、次のように始まるエラーの非常に長いリストを取得します。

完全なエラー メッセージは、ここで確認できます。これは /etc/hive/conf/hive-site.xml です

それを解決する方法やアイデアはありますか？よくあるエラーだと思います。しかし、私はまだ解決策を見つけることができませんでした。

もう 1 つ: このような長いエラー メッセージを別のログ ファイルにダンプする方法はありますか?

専門家の皆様、こんにちは。

私は Hadoop 、Linux 環境、Cloudera の初心者です。マシンに cloudera vm 5.7 をインストールし、SQOOP を使用して mysql データを hdfs にインポートしました。インパラを使用して、このデータに対していくつかのクエリを実行しようとしています。ということで、HUEを起動してみました。起動すると、設定ミスがあることがわかりました。

エラー：

潜在的な構成ミスが検出されました。Hue を修正して再起動します。

この問題をトラブルシューティングするために行った手順

1) 以下のコマンドを使用して HUE を再起動しました。

sudo サービス 色相停止

須藤サービス色相開始

2) 次のディレクトリ ファイル ./etc/hue を調べてみました - 2 つの構成フォルダーがあることがわかりました。1 つは config.empty の config で、もう 1 つは config.empty です。問題がわかりませんでした。

しかし、それでも私は同じ問題に直面しています。

Apache から Kafka をダウンロードし、独自のフォルダーに展開しました。クイックスタートに続いて、sbt もインストールしましたが、sbt コマンドの 3 行目で (kafka フォルダー内からターミナルを起動すると、次のようになります。

私は一日中答えを探していましたが、サーバーを起動するものは見つかりませんでした. kafka-server-start.sh を試したときの例外は常に

初めて「gradle」も試してみましたが、問題は同じでした。パーセル インストーラーを使用するために Cloudera-Express にアップグレードする機会がありません。私の PC はそれをサポートするのに十分ではありません。
私はかなり絶望的です: 助けてください!

いくつかのハイブ クエリを実行したいので、hdfs バイトの読み取り/書き込みなどのさまざまなメトリックを収集する必要があります。このために、私はJavaコードを書きました。しかし、コードを実行する前に、hive、impala、yarn などの cloudera サービスが実行されているかどうかを確認したいだけです。実行中の場合、コードを実行する必要があります。それ以外の場合は終了します。Javaコードでサービスのステータスを確認する方法はありますか?

私は vmware cloudera イメージ、centos6.8 で実行されている cdh-5.7 を持っています。OS X を開発マシンとして使用し、cdh イメージを使用してコードを実行しています。

アップデート

これは私が現在使用している build.sbt です。spark のバージョンを公式 (1.6.1) から 1.6.0-cdh5.7.0 に更新したところです。

これは、cdh イメージに次のような行がある /etc/hosts ファイルです。

私が実行しているclouderaのバージョンは次のとおりです。

vmware マシンで ls コマンドを実行できます。

その内容を読むことができます：

コードは非常に単純で、その内容をマッピングするだけです。

次のメッセージが表示されます。

spark-shell 内では問題なく動作しているのに、VMware イメージではプログラムによって実行されないのはなぜですか?

アップデート

sbt-pack プラグインを使用してコードを実行し、UNIX コマンドを生成して、spark 疑似クラスタを含む vmware イメージ内で実行しています。

これは、sparkconf をインスタンス化するために使用するコードです。

これは cloudera 構成ファイルの構成ミスに違いないと思いますが、どれですか?

更新 2 2016 年 6 月 1 日

OK、完全修飾名 (quickstart.cloudera) の代わりに IP (192.168.30.139) を変更すると、以前の例外はなくなりますが、次の警告が発生します。

次のコマンドを実行すると:

spark-master と spark-worker が実行されていることがわかりますが、192.168.30.139:18081 (spark-worker の状態を確認する Web ページ) をチェックインすると、次のように表示されます。

どうすればよいかわかりません。VMware イメージにできるだけ多くのリソースを増やしましたが、同じエラーが発生します...

ここまでお読みいただき、誠にありがとうございました。