問題タブ [cloudera-cdh]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
hadoop - Hadoop スナップショット機能について
Hadoop スナップショットのメカニズムを理解しようとしています ( http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/HdfsSnapshots.html )。残念ながら、公式サイト apache の情報は非常に限られているため、ここにメッセージを投稿してください。
Hadoop クラスターでこの機能を試しました。スナップショットを取得する前に、hdfs dfsadmin -reportユーティリティを使用しようとします:
durrectory のスナップショットを作成し、サブディレクトリ/tmpを取得します。
まず驚いたのは、スナップショットのサイズと、このスナップショットを撮るのにかかった時間です。時間はすぐでした、サイズは同じでした。次に驚いたのは、hdfs ユーティリティからのレポートです。
この後、/tmp dir から 1 つのサブディレクトリをドロップしてリカバリを実行します...このディレクトリはリカバリされました...しかし、方法がわかりません。誰かが詳細を説明できますか? ありがとう！
hadoop - Cloudera で serde を使用して JSON ファイルをロードする
このバッグ構造を持つJSONファイルを操作しようとしています:
serde を使用して、Hive の JSON データをロードしようとしました。ここで見た両方の方法に従いました：http://blog.cloudera.com/blog/2012/12/how-to-use-a-serde-in-apache-hive/
このコードで：
このエラーが発生しました：
私もこのバージョンを試しました: https://github.com/rcongiu/Hive-JSON-Serde
別のエラーが発生しました：
何か案が？
また、「作成者」の「名前」フィールドでクエリを作成するために、このような JSON を操作するための代替手段を知りたいです。豚かハイブか？
すでに「tsv」ファイルに変換しています。しかし、著者の列はタプルなので、このファイルからテーブルを作成する場合、Hive で 'name' をリクエストする方法がわかりません。「tsv」変換用にスクリプトを変更するか、そのままにしておく必要がありますか? または、Hive または Pig の代替手段はありますか?
jms - E1601: JMS 接続情報を取得できません [JMSTopicService が初期化されていません。JMS通知が有効になっていない可能性があります]
こんにちは、以下のリンクをたどっています。
http://oozie.apache.org/docs/4.0.0/AG_Install.html#Notifications_Configuration
上記のリンクで述べたように、cdh ですべての構成を行い、oozie を再起動しました。
コンシューマアプリケーション用に、テスト用の単純なJavaメインクラスがあります
コードスニペット
JMSConnectionInfo を取得中に以下の例外が発生しています
スレッド「メイン」での例外 E1601 : E1601: JMS 接続情報を取得できません [JMSTopicService が初期化されていません。JMS 通知が有効になっていない可能性があります] org.apache.oozie.client.OozieClient.handleError(OozieClient.java:508) at org.apache.oozie.client.OozieClient$JMSInfo.call(OozieClient.java:757) at org.apache .oozie.client.OozieClient$JMSInfo.call(OozieClient.java:744) org.apache.oozie.client.OozieClient$ClientCallable.call(OozieClient.java:479) org.apache.oozie.client.OozieClient.getJMSConnectionInfo (OozieClient.java:800) com.oozie.jms.OozieJMSClient.main(OozieJMSClient.java:25) で
管理エンドポイント
このエンドポイントは、Oozie システムのステータスと構成情報を取得するためのものです。
次のサブリソースをサポートしています: status、os-env、sys-props、configuration、instrumentation、systems、available-timezones 。
私に提案してください。ありがとう
hadoop - Sqoop2 TEXT_FILE 出力形式の構成
Postgresql データベースからデータをインポートするために Sqoop2 (Sqoop 1.99.3-cdh5.1.0) を使用しています。ジョブが正常に完了し、HDFS にテキスト ファイルが作成されます。出力ファイルは一重引用符付きの CSV です。出力を引用符なしでタブ区切りにするように構成したいと思います。
Sqoop2 の出力形式は設定可能ですか?
r - FUN(X[[2L]], ...) のエラー: 申し訳ありませんが、パラメータ タイプ `NA' があいまいであるか、サポートされていません
以下の R スクリプトを試して、「hdfs://:/somnath/merged_train/part-m-00000」にある HDFS データ ファイルで RHadoop (rmr2、rhdfs パッケージ) を使用してロジスティック回帰モデルを構築し、次を使用してモデルをテストしています。 「hdfs://:/somnath/merged_test/part-m-00000」にあるテスト HDFS データ ファイル。
Hadoop-0.20 でサポートされている MR1 と並行して実行される Yarn/MR2 で CDH4 ディストリビューションを使用しています。また、hadoop-0.20 の mapreduce および hdfs バージョンを使用して、以下に示す Sys.setenv コマンドとして以下の RHadoop スクリプトを実行します。
ただし、スクリプトを実行しているときはいつでも、以下のエラーに直面していますが、それをバイパスする運はほとんどありません。NA引数を処理せずにRでlapplyを呼び出す方法が間違っているためと思われるこのエラーの考えられる原因を誰かが指摘していただければ幸いです。
以下は私のRスクリプトです：
注: root ~/.bash_profile で次のように HADOOP の次の環境変数を設定しました。