問題タブ [biginsights]

bigr で計算列を作成しようとしています。最初にデータをロードします。

次に、列の追加を試みます。

ただし、次のエラー メッセージが表示されます。

私はクラスを見てきました：

V3 列の値は次のようになります。

進め方がわかりません - 何かヒントはありますか?

アップデート：

私はキャラクターに変換しようとしました：

しかし、次のエラーを受け取ります

標準の r では、次のようなものを使用してインデックスで選択できます。

ただし、bigr.frame で上記を試すと、次のようになります。

のドキュメント[ {bigr}は次のとおりです。

説明

データセットの行のフィルター処理と列の射影

使用法

"["(x、i、j、...、ドロップ = TRUE)

引数

x (bigr.frame または bigr.matrix) 操作対象のオブジェクト。x が bigr.frame または bigr.csv.matrix の場合、フィルタリングとプロジェクションの両方がサポートされます。x が bigr.binary.matrix の場合、射影のみがサポートされます。

i (bigr.vector) フィルタリング条件を表す論理演算 (bigr.frame および bigr.matrix オブジェクトのみ)

j (文字または整数) 射影される列を表すベクトル。これらは、列 ID (つまり、整数) または列名 (つまり、文字) である可能性があります。

1 つの列を射影する場合のdropパラメータ drop は、結果が bigr.vector (drop=TRUE) か bigr.frame (drop=FALSE) かを決定します。デフォルト値は drop=TRUE です。

価値

派生 bigr.frame、bigr.matrix、または bigr.vector

関連項目

bigr.frame bigr.matrix

例

air[air$UniqueCarrier %in% c("UA", "HA"), c(1,2,3,5:9)]

air[, c("Origin", "Dest")]

air[air$Dest == "SFO", 17]

class(air[, 17, drop=FALSE])

class(air[, 17, drop=TRUE])

インデックスで選択できるかどうかはわかりません。これは可能ですか？どのように？

jdbc を使用して Spark ノートブックから BigInsights で実行されている Hive サービスに接続したいと考えています。jdbc URL の形式は次のとおりです。

URL からわかるように、この接続にはトラストストアが必要です。トラストストアをサービスとしてスパークできるようにするにはどうすればよいですか?

更新 1:

• 証明書は、既知の CA によって発行されたものではありません。
• テナントはサービス上の JRE/JDK にアクセスできません。

更新 2:

以下を使用して、証明書とトラストストアを追加できます。

質問の最後の部分は、bluemix spark の python ノートブックに jar を追加する方法です。

サービスとしての Bluemix Spark 上の iPython ノートブックから BigInsights on Cloud クラスター上の BigSQL に接続しようとしています。

私のノートブックは次のようになります。

私が受け取る例外は次のとおりです。

Hive 2.0 jdbcを使用して接続しようとすると、同様のエラーが発生します。

Oracle データベースを RDBMS として使用して、単一ノードの IBM Open Platform クラスターをインストールしようとすると、少し混乱します。

まず、IBM Big Insights の Hadoop 部分は、対応する Apache バージョンの修正版 (HortonWorks のように) ではないことを理解しています。そのため、Ambari (IBM リポジトリから) が外部の Oracle データベースを使用するように私に申し出た場合、私はそれを推測します。動作するはずです。私が間違っている可能性があります。くだらない IBM インストール ガイドには、正しくセットアップするためのオラクルのリファレンスが見つかりません (Oracle 11g R2 で動作するはずであるということだけです)。

そこで、同等の HortonWorks ディストリビューションで行うように (ただし、IBM のバイナリを使用します)、すべての Oracle パラメーター (--jdbc-db=oracle --jdbc-driver=path/to/ojdbc6 .jar、Centos 6.5 で Oracle 11g XE を使用しており、IOP でサポートされているはずです)、Oracle で Ambari を使用するために指定しなければならなかったすべてのもの (サービス名、ホスト、ポートなど) を指定しました。 Hortonworks インストール ガイドで指定されているように、ambari ユーザーを作成し、対応する Oracle DDL (Ambari にパッケージ化) をロードし、Hive および Oozie ユーザーを作成しました。さて、Ambari は Oracle とうまく連携しているようです。最後のステップまでクラスターをセットアップできます。

• オラクルで動作するように Hive および/または Oozie を構成すると (サービス構成タブからオラクル接続が正常であることを検証します)、「レビュー」ステップ (ステップ 8) で何も表示されません (または場合によっては IOP リポジトリが表示されるようです)。任意であること）。展開しようとすると、タスクの準備が開始され、インストールのブロック状態が暗示されます。データベースを削除し、DDL 全体をリロードして再試行する以外に何もできません (そうしないと、予期しない NullPointerException が大量に発生します)。
• Hive と Oozie を組み込みの MySQL (デフォルトの選択) で動作するように構成し、Ambari を Oracle に対して保持すると、すべて正常に動作します。

私は何か間違ったことをしていますか?? または、Oracle 11 を使用するように (IBM Open Platform) Hive と Oozie を構成するための制限はありますか? (HortonWorks - 同じ apache バージョン - および Cloudera ディストリビューションで動作する場合)

もちろん、ログファイルは何も教えてくれません...

アップデート：

Ambari、Hive、および Oozie データベースとして MySQL を最初に使用して、IOP 4.1 をインストールしようとしましたが、すべて問題ありませんでした。次に、外部データベースとして Oracle 11 XE を使用して IOP 4.1 をインストールしようとしました (Oracle を構成し、ambari、hive、および oozie oracle ユーザーを作成し、IOP 4.1 で指定された Ambari Oracle スキーマをロードし、最初と同じクラスターを構成し、 Hive、Oozie (および Sqoop (Oracle ドライバー)) の Oracle の特殊性すべてのノードにサービスを展開する前に、Ambari はインストールしようとしているものを再開することになっていますが、そうではありません: 何も表示されない場合があります。 , 時にはIOPリポジトリのURLしか表示されません. 次に, デプロイしようとすると, 準備タスクを開始しますが、決して終了しません. それだけです. メッセージもログも何もありません. IOP 4.1の望ましいコンポーネントはHDP 2 の同じバージョンで。3 (Ambari 2.1、Hive 1.2.1、oozie 4.2.0、hadoop 2.7.1、pig 0.15.0、sqoop 1.4.6、zookeeper 3.4.6)、HDP 2.3、Oracle 11 でまったく同じクラスターを構成しようとしましたXE、...そしてすべてが機能しました。HDP 2.3 では SSL の使用が強制されますが、IOP では使用されないことに気付きました。HDP はデフォルトで Oracle JDK 1.8 で動作しますが、IOP は実際には代わりに OpenJDK 1.8 を使用することを提案しています。問題があるかどうかわかりませんが、確認してみます...エラー メッセージがなくても、ブロックされたときに Ambari 画面の写真を撮り、ログ トレースをコピーします... デフォルトでは 8 ですが、IOP は実際には代わりに OpenJDK 1.8 を使用することを提案しています。問題があるかどうかわかりませんが、確認してみます...エラー メッセージがなくても、ブロックされたときに Ambari 画面の写真を撮り、ログ トレースをコピーします... デフォルトでは 8 ですが、IOP は実際には代わりに OpenJDK 1.8 を使用することを提案しています。問題があるかどうかわかりませんが、確認してみます...エラー メッセージがなくても、ブロックされたときに Ambari 画面の写真を撮り、ログ トレースをコピーします...

誰かがアイデアを思いついたら、共有してください！ありがとう！

BigInsights on Cloud で単純なスパーク スクリプトを実行しようとしています。

これにより、次の例外が発生しました。

同様の質問を見たことがありますが、Bluemix の BigInsights (hadoop) に関連するものはありません。

bigr に接続しようとしています:

ただし、次のエラーが表示されます。

注 BigRResultSet.jar は libpath に存在します。

この問題の原因は何ですか？

クラウド上の BigInsights で kite-dataset ツールを使用したいのですが、インストール手順に従って、ホーム フォルダーの mastermanager ノードにインストールしました。

ただし、実行しようとすると、次のようになります。

この変数は、BigInsights on Cloud でどこを指す必要がありますか?