問題タブ [metastore]

例：

基本的に、フィルター、グループ化、集計 - MR ジョブが生成され、Resource Manager UI で確認できます。

たとえば、次のように言いましょう。

これらのタイプのクエリは MR ジョブを必要とせず、RM に表示されません。これは、この情報が MetaStore でプロパティとして利用できるためです。ハイブはどこかにログを記録しますか? それらのクエリを特定できますか?

2 つのクラスターがあり、1 つは古いもの、もう 1 つは新しいものです。どちらも AWS - EMR 上にあります。RDS 上にある同じ Hive メタストアを指すこれらのクラスター上の Hive。古いものから新しいものへと移行しています。

問題は、古いクラスターを停止すると、古いテーブルへのアクセスに問題が発生するかどうかです。" すべてのデータは S3 にあります。すべてのテーブルは外部にあります。しかし、データベースは HDFS にあります..

古いクラスターを停止すると、この場所が無効になり、データベースとテーブルが無効になりますか? それらは外部的ですが。

これが問題になるかどうかはわかりませんが、これは本番環境にあるため、すでにこの問題に直面している人がいるかどうかを調べています.

ありがとう！

データベースからデータを照会するために Apache spark-sql を使用しています。Spark はデフォルトでハイブの同じメタストアを共有することを知っています。30 万を超える個別の値を持つ列 ID に基づいて入力データを分割しました。現在、そのテーブルには 30 万を超えるパーティションがあり、定期的に増加します。

これにより問題が発生することはありますか？

PowerShell コマンドレットを使用して Azure HDInsight クラスターを作成しようとすると、次のエラーが発生します。

パラメータの入力を求められるため、パラメータはpowershellによって認識されないようです（以下を参照）。必要なパラメータ (Location、ClusterName、ClusterSizeInNodes) を入力すると、エラーが発生します。

なぜそれが起こるのか、またはsmdletで何が間違っているのか誰かが知っていますか?

Cloudera の下で、ハイブ メタストアを高可用性に構成しようとしています。

だから私は以下のチュートリアルに従いました: http://www.cloudera.com/content/www/en-us/documentation/archive/cdh/4-x/4-7-1/CDH4-Installation-Guide/cdh4ig_hive_metastore_configure.html

私の質問は: ハイブ メタストア サーバーとレプリケートされたデータベースの間にロード バランサーを追加する必要がありますか?

データベースの URI のリストをハイブ メタストア サーバーに提供するか、障害が発生した場合にロード バランサーを使用して他のデータベースに切り替える必要があると思います。

前もって感謝します