問題タブ [biginsights]

私は IBM Bluemix プラットフォームを初めて使用し、その BigInsights サービスを調査しています。Pig Hive Hbase などの構成済みコンポーネントが表示されます。しかし、Drill のようなサービスをインストールする方法や、デフォルトで構成されていない Hue と言う方法を知りたいです。また、クラスター ノードへの ssh では、yum コマンドを実行する必要がある場合に備えて、sudo 権限のない制限付きアクセスが許可されます。前もって感謝します。

私は、Apache Ambari を使用してインストールされた IBM Hadoop ディストリビューション (BigInsights) に取り組んでおり、現在、HDFS の透過レイヤーとして GPFS (一般的な並列ファイル システム) が有効になっています。Ambari では、HDFS でメンテナンス モードを有効にしており、Ambari コンソールから core/hdfs-site.xml に変更を加えることはできません。したがって、core/hdfs-site.xml に変更を加えたい場合は、CLI を使用してサーバー側から変更する必要があります。次に、GPFS 環境で namenode/datanode を再起動する方法を教えてください。新しいパラメータを有効にするためにコネクタを再起動したり、namenode を再起動したりする必要がありますか? コネクタが機能する場合、コマンド「mmhadoopctl」がありますが、そうでない場合、構成ファイル内に配置された新しいパラメーターを有効にするために使用する必要があるコマンドは何ですか。

スパーク ストリーミング ログを構成しようとしています。次のプロパティを設定するスパークドキュメントの状態：

spark.yarn.app.container.log.dirBigInsights on Cloud 4.2 Basic クラスターの どこを指していますか?

Hive テーブルにアクセスする BigInsights on Cloud 4.2 Enterprise で pyspark スクリプトを実行しようとしています。

まず、ハイブ テーブルを作成します。

次に、単純な pyspark スクリプトを作成します。

私は実行しようとします：

ただし、次のエラーが発生します。

他の Hadoop ディストリビューションに関する同様の投稿を多数見てきましたが、BigInsights on Cloud に関するものではありません。

Hive テーブルにアクセスする BigInsights on Cloud 4.2 Enterprise で pyspark スクリプトを実行しようとしています。

まず、ハイブ テーブルを作成します。

次に、単純な pyspark スクリプトを作成します。

私は実行しようとします：

ただし、次のエラーが発生します。

spark-submit スタンドアロンを実行すると、テーブルが正常に存在することがわかります。

この問題に関連する私の以前の質問を参照してください: hive spark yarn-cluster job fails with: "ClassNotFoundException: org.datanucleus.api.jdo.JDOPersistenceManagerFactory"

この質問は、他の質問と似ています: Spark は pyspark から Hive テーブルにアクセスできますが、 spark-submit からはアクセスできません。ただし、その質問とは異なり、私は HiveContext を使用しています。

更新: 最終的な解決策については、こちらを参照してください https://stackoverflow.com/a/41272260/1033422