問題タブ [metastore]

この sql リクエストに相当するものを Hive に書きたい:

ハイブのメタストアにアクセスして、特定のデータベースに格納されているすべてのテーブルのすべての列を取得するにはどうすればよいですか? describe [table_name] を介してテーブルごとに実行できることはわかっていますが、データベース内のすべてのテーブルのすべての列を同じリクエストで取得する方法はありますか?

Java コードを使用して MetaStore に接続したいと考えています。Hive-Site.xml ファイルで構成設定を設定する方法と、Hive-Site.xml ファイルをどこに投稿するかがわかりません。助けてください。

PythonでSparkSQLを使用しています。hiveContext を使用して、パーティション化されたテーブル (〜数百のパーティション) を作成し、Hive 内部テーブルに格納しました。ハイブ倉庫はS3にあります。

単純に "df = hiveContext.table("mytable") を実行すると、最初にすべてのパーティションを処理するのに 1 分以上かかります。メタストアにすべてのメタデータが格納されていると思いました。この手順を回避して、起動を高速化することはできますか?

Hadoop では、ブロックが存在するすべての情報を含む NameNode のメタデータが既にあるため、Hive のメタストアについて読んでいるときに、MetaStore の用途を理解できませんでした。メタストアに新しい種類のインデックスが必要な理由。新しいものを使用する代わりに、Namenode のメタデータを使用できなかった理由。

以下のように hive-site.xml を編集して、トランザクションを有効にし、Hive でリモート メタストア (MySQL - MariaDB) を使用しました。

実行するhive --service metastoreと、次のエラーが表示されます。

ロールバック エラー: autocommit=true の場合、ロールバックを呼び出せません

Hive CLIshow databasesでクエリを実行すると、次のエラーが表示されます。

失敗: LockException [エラー 10280]: メタストアとの通信エラー

トランザクションのみを有効にするか、リモート メタストアのみを使用すると、エラーは発生しません。

これは、Hive ログの一部です。

これらは私が使用しているバージョンです:

Derbyハイブ リモート メタストアがデータベースとして使用されているかどうかを確認しようとしてMYSQLいますか?

これを見つける方法はありますか？

Java から Hive への kerberos keytab 認証作業を取得しようとしていますが、問題を解決するための解決策が見つかりません。

java.io.IOException: org.apache.hadoop.security.UserGroupInformation.loginUserFromKeytab(UserGroupInformation.java:855) のキータブ {keyTabPath} からの {krbPrincipal} のログイン失敗

原因: javax.security.auth.login.LoginException: ユーザーからパスワードを取得できません

com.sun.security.auth.module.Krb5LoginModule.promptForPass(Krb5LoginModule.java:789) com.sun.security.auth.module.Krb5LoginModule.attemptAuthentication(Krb5LoginModule.java:654)

これを解決するのに役立つ洞察をいただければ幸いです。