問題タブ [cloudera-quickstart-vm]

Hadoop 環境として cloudera クイックスタート VM 5.8 を使用しています。私は次のことをしようとしました。

1. hdfs絶対URIを使用してハイブテーブルを作成しました

存在しない場合は外部テーブルを作成する stocks_tb (exch STRING、symbol STRING、ymd STRING、price_open FLOAT、price_high FLOAT、price_low FLOAT、price_close FLOAT、volume INT、price_adj_close FLOAT) ',' LOCATION 'hdfs:// で終了する行フォーマット区切りフィールドquickstart.cloudera:8020/hadoop/hive/stocks';

{相対パスを使用しようとしましたが、絶対パスが必要な場所で相対パスを使用していると Hive CLI から不平を言われました}

2. データセット ストックをローカル ファイル システムから HDFS の入力/ストックにロードしました。

3. データセットをテーブルに読み込もうとしました

LOAD DATA INPATH 'hdfs://quickstart.cloudera:8020/input/stocks' INTO TABLE stocks_tb;

エラーが発生します

なぜこのエラーが発生するのかわかりません。input/stocks/stocks にデータはあるのですが、エラーが発生します。

エラーを見つけることができますか/エラーについて何か考えはありますか?

また、私がするとき

hadoop fs -ls hdfs://quickstart.cloudera:8020/input/stocks

ファイルを表示できませんが、表示すると

hadoop fs -ls 入力/在庫

株式ファイルを見る

これをどう解釈していいのかわからない。手伝ってくれる？

ありがとう

現在、ラップトップでubuntu 14.04（Windowsなし）を使用しています。Cloudera QuickStarts Vm を使用するには、Virtualbox または VMware をインストールする必要がありますか?

いくつかの Spark python スクリプトを Oozie ワークフローとして実行する必要があります。Spark を使用してローカルでスクリプトをテストしましたが、それらを Oozie に送信すると、なぜ機能しないのかわかりません。私は Cloudera VM を使用しており、Oozie は Hue ダッシュボードで管理しています。spark アクションのワークフロー構成は次のとおりです。

何かを出力するだけの簡単な例も実行しようとしましたが、Oozie に送信するすべてのスクリプトで次の出力が得られます。

[編集]

spark master: yarn-cluster を設定した場合にのみワークフローが開始されることがわかりましたが、このモードでも、spark アプリがステータス ACCEPTED のままである間、95% 完了マップでスタックしたままの糸コンテナーが起動されます。Spark アクションを開始できるように、Yarn メモリ パラメータを変更しようとしています。スタウトはハートビートを印刷するだけです

[解決済み]

oozie ワークフローは、py ファイルがローカルにある場合にのみ開始され、hue がワークフロー フォルダーを作成した後に手動で lib フォルダーに挿入されます。最良の解決策は、spark-submit を使用してシェル スクリプトを作成することだと思います。