問題タブ [hortonworks-sandbox]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
hive - knox 経由でハイブ サーバーに接続できません
下記の接続 URL を使用して、beeline を使用してハイブ サーバーに接続しています。
!connect jdbc:hive2://sandbox.hortonworks.com:21000/default;ssl=true;sslTrustStore=/var/lib/knox/data-2.3.2.0-2950/security/keystores/gateway.jks;trustStorePassword=knox ?hive.server2.transport.mode=http;httpPath=ゲートウェイ/デフォルト/ハイブ
接続後、以下のエラーが表示されます。
JDBC URI でクライアント トランスポートを開けませんでした: jdbc:hive2://sandbox.hortonworks.com:21000/default;ssl=true;sslTrustStore=/var/lib/knox/data-2.3.2.0-2950/security/keystores/ gateway.jks;trustStorePassword=knox?hive.server2.transport.mode=http;httpPath=gateway/default/hive: jdbc への http 接続を作成できませんでした:hive2://sandbox.hortonworks.com:21000/default;ssl= true;sslTrustStore=/var/lib/knox/data-2.3.2.0-2950/security/keystores/gateway.jks;trustStorePassword=knox?hive.server2.transport.mode=http;httpPath=gateway/default/hive. javax.net.ssl.SSLException: 認識できない SSL メッセージ、プレーンテキスト接続? (状態=08S01、コード=0)
このエラーを解決するのを手伝ってください。
hadoop - hortonworks hadoop で RAM サイズを縮小する際のエラー
仮想ボックスの RAM サイズを 4 GB から 1 GB に縮小する必要があります。縮小しようとしましたが、変更できないので、正しい方法でそれを行う方法を提案してください。スクリーンショットを添付しています。
hadoop - Hortonworks VM - Hadoop バッチ アップロード?
CentOS を実行している Hortonworks VM で Hadoop にファイルをバッチ アップロードする方法はありますか? Ambari - Sandbox の HDFS ファイル ツールを使用できるようですが、1 つずつアップロードすることしかできません。以前はRedgate の HDFS Explorerを使用できたようですが、現在は使用できません。Hadoop はビッグデータを処理するように作られていますが、すべてのファイルを 1 つずつアップロードするのはばかげています... ありがとうございます。
scala - HiveContext が Orcfile のスキーマを読み取っていません
次を実行すると：
列は、'empno'、'name'、'deptno' などの実際の名前とは対照的に、'_col0'、'_col1'、'_col2' などとして出力されます。
Hive で「describe mytable」を実行すると、列名が正しく出力されますが、「orcfiledump」を実行すると、_col0、_col1、_col2 も表示されます。「読み取り時にスキーマ」などを指定する必要がありますか? はいの場合、Spark/Scala でそれを行うにはどうすればよいですか?
注: 次のようにテーブルを作成しました。
注: これは、この問題 ( Hadoop ORC ファイル - 仕組み - メタデータのフェッチ方法) の複製ではありません。回答では、「Hive」を使用するように指示されており、次のように既に HiveContext を使用しているためです。
ところで、私は以下を含む独自の hive-site.xml を使用しています。
apache-spark - Spark でのハイブ データベースの使用
私は Spark が初めてで、HortonWorks Sandbox を使用して tpcds ベンチマーク テーブルでいくつかのクエリを実行しようとしています。 http://www.tpc.org/tpcds/ シェルやサンドボックスの hive-view を介してハイブを使用する場合は問題ありません。問題は、スパークを使用したい場合にデータベースに接続する方法がわからないことです。クエリを実行するために、spark でハイブ データベースを使用するにはどうすればよいですか? 私が今まで知っている唯一の解決策は、各テーブルを手動で再構築し、次のスカラ コードを使用してデータをロードすることですが、これは最善の解決策ではありません。
hive-site.xml についてもいくつか読みましたが、どこにあるのか、データベースに接続するためにどのような変更を加える必要があるのか わかりません。
apache-spark - HDP 2.3.2 での Spark -Oozie ワークフロー用に spark-assembly-1.5.2.-hadoop2.7.jar が必要
oozie 4.2.0 (HDP 2.3.x) で spark 1.5.2 ジョブをスケジュールしようとしています。Spark 1.5.2 が外部にインストールされました。hortonworks が提供するデフォルトの Spark バージョンを使用していません。これを設定するには、以下の投稿を参照しています。
私は瓶の下を見つけるのに苦労しています。
-spark-assembly-1.5.2.2.3.4.0-3485-hadoop2.7.1.2.3.4.0-3485.jar
-spark-examples-1.5.2.2.3.4.0-3485-hadoop2.7.1.2.3.4.0-3485.jar
上記のjarファイルを見つけてダウンロードするためのヒントを教えていただければ、始めるのに大いに役立ちます。