問題タブ [qubole]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
qubole - .py ファイルを Qubole にインポートするには?
Azure データ レイクに接続していて、そこにファイルがありますが、別のパスにあり、インポートする方法がわかりません。よろしくお願いします。
amazon-web-services - --properties-file を Qubole の spark-submit に渡す方法は?
AWS でクラスターを作成して、Qubole で Spark を使用しています。Qubole Workbenchで、以下のコマンド ラインを実行すると、正常に動作し、コマンドが成功します。
/usr/lib/spark/bin/spark-submit s3://bucket-name/SparkScripts/test.py
しかし、 --properties-file オプションと一緒に同じコマンドを実行すると
/usr/lib/spark/bin/spark-submit --properties-file s3://bucket-name/SparkScripts/properties.file s3://bucket-name/SparkScripts/test.py
以下のエラーメッセージが表示されます
Qubole > シェル コマンドが終了コードで失敗しました: 1
アプリ > Qubole セキュリティ プロバイダーの初期化に必要な有効な構成を取得中にエラーが発生しました
アプリ > スレッド「メイン」の例外 java.lang.IllegalArgumentException: 要件が失敗しました: プロパティ ファイル s3:/bucket-name/SparkScripts/properties.file が存在しません
誰かがこれを修正するのを手伝ってくれますか? いくつかのアプリケーション プロパティを Amazon S3 の別のファイルに保存し、spark プログラムに --properties-file で渡す必要があります。
amazon-web-services - Qubole をクロールするための AWS Glue のセットアップ
現在、Qubole を使用して Hive データにアクセスしています。複数のデータベースからメタデータを追加しましたが、すべての Hive メタデータを AWS Glue に追加したいと考えています。これは可能ですか？どんな助けでも大歓迎です。