0

公式の kudu ドキュメント ( http://kudu.apache.org/docs/installation.htmlを参照) に従って、Ubuntu (Trusty) に kudu を正常にインストールしました。セットアップには、マスター サーバーとタブレット サーバーを実行する 1 つのノードと、タブレット サーバーのみを実行する別のノードがあります。kudu マスターを実行しているノードに Cloudera Manager を使用せずに impala-kudu をインストールする際に問題が発生しています。ステップ 3 まで、このページ( http://www.cloudera.com/documentation/enterprise/latest/topics/cdh_ig_cdh5_install.htmlを参照)の CDH インストール手順に従いました。 mapreduce ジョブを実行する必要はなく、hadoop を使用しません。Impala-kudu と impala-kudu-shell がエラーなしでインストールされました。impala-shell を起動すると、次のように返されます。

Starting Impala Shell without Kerberos authentication
Error connecting: TTransportException, Could not connect to kudu_test:21000
***********************************************************************************
Welcome to the Impala shell. Copyright (c) 2015 Cloudera, Inc. All rights reserved.
(Impala Shell v2.7.0-cdh5-IMPALA_KUDU-cdh5 (48f1ad3) built on Thu Aug 18 12:15:44 PDT 2016)Want to know what version of Impala you're connected to? Run the VERSION command to
find out!
***********************************************************************************
[Not connected] >

CONNECT オプションを使用して kudu-master ノードに接続しようとしましたが、成功しませんでした。imapala-kudu と kudu の両方が同じマシンで実行されています。変更する必要がある追加の構成設定はありますか、それとも、impala-kudu を機能させるために Hadoop と YARN が厳密な要件ですか?

実行後ps -ef | grep -i impalad、impala デーモンが実行されていないことを確認できます。~/var/log/impala の impala ログに移動すると、いくつかのエラー ファイルと警告ファイルが見つかります。impalad.ERROR の出力は次のとおりです。

Log file created at: 2016/09/13 13:26:24
Running on machine: kudu_test
Log line format: [IWEF]mmdd hh:mm:ss.uuuuuu threadid file:line] msg
E0913 13:26:24.084389  3021 logging.cc:118] stderr will be logged to this file.
E0913 13:26:25.406966  3021 impala-server.cc:249] Currently configured default filesystem: LocalFileSystem. fs.defaultFS (file:///) is not supported.ERROR: block location tracking is not properly enabled because
  - dfs.datanode.hdfs-blocks-metadata.enabled is not enabled.
  - dfs.client.file-block-storage-locations.timeout.millis is too low. It should be at least 10 seconds.

E0913 13:26:25.406990  3021 impala-server.cc:252] Aborting Impala Server startup due to improper configuration. Impalad exiting.

これらのサービスが適切に構成されていることを確認するために、HDFS と Hive メタストアに再度アクセスする必要があるのでしょうか?

4

1 に答える 1

0

ログによると、デフォルトのファイルシステムがサポートされていない LocalFileSystem に設定されているため、impalad は終了します。HDFS などの分散ファイルシステムをデフォルトとして設定する必要があります。

Kudu は別のストレージ システムであり、HDFS に依存していませんが、Impala は Kudu で使用する場合でも非ローカルのデフォルト FS を必要とするようです。Impala_Kuduのドキュメントには、次の要件が明示的に記載されています。

Impala_Kudu をインストールする前に、HDFS (ただし、Kudu では使用されません)、Hive メタストア (Impala がそのメタデータを格納する場所)、および Kudu のサービスをインストールして構成しておく必要があります。

HDFS は、Impala を満足させる以外の理由で実際には必要ないかもしれないと想像することさえできますが、これは私の側からの憶測にすぎません。更新: IMPALA-1850が見つかりました。これにより、Impala には HDFS はもう必要ないという私の疑いが確認されましたが、削除する必要があるのは単一のチェックだけではありません。

于 2016-09-13T15:14:59.370 に答える