問題タブ [cloudera-quickstart-vm]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
hadoop - 特定のフォルダーで変更が発生した場合、OOZIE ジョブをスケジュールする方法は?
フォルダー ie に基づいて oozie ジョブをスケジュールしたい
HDFS の場所にフォルダーがあり、毎日 1 つのファイルが date.txt (exp :20160802.txt) の形式でそのフォルダーに追加されます。
そのフォルダーに新しいファイルが追加された場合は、OOZIE バッチをスケジュールします。
これについて私を助けてください、私のユースケースシナリオでどのようにスケジュールできますか。
前もって感謝します。
hadoop - テーブルに主キーがあるにもかかわらず、インポート中に Sqoop --split-by エラーが発生する
dept_id を主キーとする MySQL テーブル
Sqoop クエリ
コンソールでのエラーの結果:
クエリ結果を並行してインポートする場合は、次を指定する必要があります
--split-by
---質問ポイント!---
テーブルには主キーがあり、分割は 2 つのマッパー間で均等に分散できますが、--spit-byまたは-m 1の必要性は何ですか??
同じように私を導いてください。
ありがとう。
apache-spark - Cloudera Quickstart 5.7 を使用した Apache Spark GraphX
この Web サイトから Cloudera Quickstart 5.7 を使用して Spark GraphX を使用しようとしています: http://kukuruku.co/hub/algorithms/social-network-analysis-spark-graphx
私が行った手順: 1) ターミナルを開く 2) 実行spark-shell
3) 実行import org.apache.spark.graphx._
このコードを送信すると、次のエラーが表示されます。
このエラーを返すために私が見逃しているものについて誰か考えがありますか?
ありがとう！
amazon-web-services - AWS 認証情報のセットアップ - Cloudera クイックスタート Docker コンテナ
Cloudera の Quickstart Docker コンテナーを使用して、単純な Hadoop/Hive ジョブをテストしようとしています。S3 のデータに対してジョブを実行できるようにしたいのですが、これまでのところ問題があります。
以下のプロパティを core-site.xml、hive-site.xml、hdfs-site.xml に追加しました。
とにかく、Hive で S3 の場所を指す外部テーブルを作成しようとすると、次のエラーが発生します。
hadoop - Sqoop export inserting duplicate entries
I am trying to understand how sqoop export works.I have a table site in mysql which contains two columns id and url and contains two rows
The table has no primary key
When i am exporting the entries from HDFS to mysql site table by executing below command its inserting duplicate entries
I have below entries in HDFS
sqoop export --table site --connect jdbc:mysql://localhost/loudacre -- username training --password training --export-dir /site/ --update-mode allowinsert --update-key id
So instead of updating already existing id its inserting duplicate id again (meaning two 1 , 1 for www.one.com and 1 for www.yahoo.com)
even if I remove the --update-key the outcome is same.Does its happening because the table doesn't have primary key
I am using sqoop 1.4.5 in Cloudera quickstart VM
Any help ?
cloudera - Cloudera クイックスタートのドメイン名を変更する
Cloudera Quick start VM をローカル サーバーにインストールし、ローカル マシンからアクセスしています。使用しているドメイン名はquickstart.cloudera. そのため、リモート アクセスの場合は、毎回手動でローカル IP アドレスに変更する必要があります。この設定をどこで編集して、そこに自分の IP を与えることができますか?
cloudera - Cloudera Quickstart VM へのノードの追加
Cloudera Quickstart VM がインストールされており、単一ノードです。マルチノードを追加してクラスターとして作成するにはどうすればよいですか? 私は現在 Virtualboax を使用しており、ベースのクイックスタート VM のクローンを作成してから、それをネットワーク化し、Cloudera マネージャーの [クラスターの追加] ウィザードを使用しようとしました。しかし、それは失敗しています。複数のノードを追加する方法を知っている人はいますか?