問題タブ [hue]

Hue と Solr の両方の動的フィールドで問題が発生します。Hue では、動的フィールドとして保存されたデータは、インポートされたコレクションから利用可能なすべてのデータを表示するデフォルトの Solr 検索に表示されません。また、text_general タイプで、索引付けされて保管されているこのデータの検索にも失敗します。Solr では、スキーマ設定が次のようになっているにもかかわらず、動的フィールドがインデックス化されていないようです。

これらの設定は、トークン検索可能で、Hue の Solr 検索に表示される通常のフィールド「名前」とまったく同じです。

私の目標は、タグ名と属性名を索引付けのフィールド名として使用し、値を索引付けすることでした。そして、これはsolrで機能し、基本的なクエリ「start:star」を使用すると結果を確認できます

末尾に _t が付いているものはすべて動的フィールド値であることがわかっており、その前の名前はタグからの名前です。ただし、部分的に検索可能な唯一のフィールドは名前フィールドです。クエリで「43」を検索すると、このドキュメントと、「名前」に 43 が含まれる他のドキュメントが取得されます。しかし、police_precinct_t フィールドから「Precinct」という単語を検索しても、何も返されません。これらはすべて、次の場所に移動して到達する Solr 管理ウィンドウにあります。http://HOST:8983/solr.

Hue では、さらにまばらな情報しかありません。Solr 検索パネルに移動し、デフォルトの空白検索を実行すると、Solr db 内のすべてのデータの最初のページが返されます。

最初の値はバージョンです、2 番目は id で、次は定義されたフィールドのみが Hue に表示されるかどうかをテストするために使用していた名前の値であり、これが当てはまるようです。ダイナミック フィールド データは、Solr 管理パネルのように Hue にも表示されませんが、Solr クエリ ウィンドウと同じ方法でデータを検索できます。「borough_t:QUEENS」と入力すると、Hue クエリと Solr クエリの両方で、フィールドと値が正確に一致するすべての結果が得られます。これはトークンの一致を許可せず、宣言された動的フィールドまたは上記の属性の予想される動作と一致しません。コレクション 1 の Solr で提供されている schema.xml の例を使用しています。グロブ「*_t」を持つ他の動的フィールドが競合しないことを確認し、フィールドを無効にしたりエラーにしたりすることを確認しました。

Solr の使い方は非常に簡単で、ある程度読めば理解できますが、solr が期待どおりに動作しない理由については、答えが見つからないようです。SolrJ を使用してファイルを Solr にインデックス付けしています。次に、Solr 管理パネルと Hue (2.5) の Solr 検索の両方を使用して、インデックス付けされたデータを操作しています。

NYC Open Data Siteから取得した XML データの例は、適切にフォーマットされませんが、本当に興味がある場合は、Firehouse Location および Graffiti Location データを検索して、xml をエクスポートできます。それが私がSolrに入れているデータです。私が見ることができる私の解決策は、各タグ値を text_general 設定で正確なフィールドに割り当てるハードコーディングされた解釈コードを書いているか、その場でフィールドを作成しているように見えますが、これは動的フィールドと大差ないようです。動的フィールドを期待どおりに機能させる方法を見つけたいと思います。

前もって感謝します。

ユーザーが毎回これを行う必要がないように、hue/hive を構成して、いくつかのカスタム jar ファイルを追加し、いくつかの UDF を作成できるようにしたいと考えています。

理想的には、Hive CLI の " .hiverc" ファイルに似た機能があり、いくつかの HQL ステートメントを配置するだけでこれらすべてを実行できることを願っています。Hueにこの機能があるかどうか誰か知っていますか? ファイルを使用していないようです$HIVE_HOME/conf/.hiverc。

または、カスタム jar ファイルと UDF の両方を別々に処理できれば、それも問題ありません。たとえば、jar$HADOOP_HOME/libをすべてのタスクトラッカーに配置できると考えています。また、何らかの方法で Hue のクラスパスにも配置できると考えています。確かではありませんが、これはそれほど難しいことではないと思います...

しかし、それでも UDF は残ります。Hive のソースを変更して (org.apache.hadoop.hive.ql.exec.FunctionRegistryおそらく)、Hive のカスタム バージョンをコンパイルできるように思えますが、できればそのうさぎの穴には入りたくありません。

サーバーに Hadoop 1.3 をインストールしています。Ambari もインストールされているため、システムの詳細を表示できます。Hue をインストールしましたが、すべて正常に動作しますが、非常に小さなデータ (2Kb) でのみ動作する豚のスクリプトがあり、データのサイズを 10Kb より大きくしようとすると (データを繰り返して、これが問題）それは言ってエラー：

誰かがそれを助けることができれば、それは素晴らしいことです. 変更する必要があるのは mapred 内の構成だと感じていますが、私が試したことは何もしていないようです。

ありがとう

私の全体的な目標は、誰もが Python で MySQLdb を使用して sqldb を操作するように、Hive を操作することです。

• hue シェル: Hue シェルで Hive テーブルのクエリを実行しても問題ありませんが、hue シェルは Python 上に構築されたラッパーであり、単純な Python と比較して多くの構成が追加されています。たとえば、大量のsys.pathとos.environが追加されており、Python を開いたときにまったく同じパスと環境変数をコピーしたとしても、何らかのエラーが原因で動作しませんAttributeError: 'ConfigSection' object has no attribute 'HUE_PRINCIPAL'。

• ここでの方法は hiveserver1 でしか機能しないと思います。そして、ここからの会話は、thrift によって生成された get client について話し続けます。私は倹約を扱った経験がなく、倹約に飛び込む前に間違った方向に進んでいるのだろうかと思っています.

どんな助けでも大歓迎です！

CDH4 Oozie ワークフロー エディターは初めてです。Oozie ワークフロー エディターから pig スクリプトを呼び出そうとすると、次のエラーが発生します。

Oozie がジョブを Yarn ポート (8032) に送信しているようです。8021 (MR jobtracker) ポートに送信するようにします。oozie が (Hue または Cloudera マネージャーを使用して) 正しいものを取得できるように、ジョブ トラッカーの URL またはポートを設定する場所を特定するのを手伝ってくれませんか。

以前は次のことを試しましたが、どれも役に立ちませんでした

1. 変更された workflow.xml ファイル /user/hue/oozie/workspaces/../workflow.xml ファイル。ただし、ワークフロー エディターからジョブを送信すると上書きされます。

2. cloudera Manager で --> oozie --> 構成 --> Oozie サーバー (詳細) --> Oozie サーバー構成 oozie-site.xml プロパティの安全弁 次のように設定します。

   oozie.service.HadoopAccessorService.jobTracker.whitelist mymachine:8021

oozieサービスを再起動しました。3. pig タスクの構成中に「jobTracker」プロパティをオーバーライドしようとしました。これは、ワークフロー ファイルでは次のように表示されますが、有効にならず (または上書きされず)、8032 ポートが引き続き使用されます。

CDH4版を使用しています。

私の質問を調べてくれてありがとう。

JobTracker が動的 (ノードからノードへ移動) として構成されている小さな Hadoop クラスターがあります。コマンドラインではなく、一般的な WebUI (Hadoop MapReduce Job Tracker) を介して、データ、ログ ファイル、および対話をより一般に公開したいと考えています。
Hadoop クラスター内のすべてのノードでアウトバウンド用に Web ポートを開き、すべてのノードに共通の DNS エイリアスを作成して、JobTracker ノードへの一定の参照が存在するようにすることを考えた実装です。これはベストプラクティスですか？また、エンドユーザーがアクセスできるApache Hue ( http://www.gethue.com )のようなフロントエンド アドオンのインストールにも関心があります。

JobTracker を静的にする機能があることは知っています。これにより、この問題は解決されますが、おそらく他の問題が発生する可能性がありますが、専用ノードを作成することで、Hadoop の意図した目的とクラスター化されたノードの機能の一部が排除されると確信しています。

管理者とエンドユーザーがアクセスできる一貫性のある URL を戦略的に最適に展開する方法についての洞察に感謝します。

I am using CDH 4 and setup Hue and Solr. I have also created collection in Solr which can be accessed from Solr UI. But I am unable to see this collection in Hue.

When I checked Hue log, I saw following error:

User [hue] not defined as proxyuser

I googled it, and found that it has something to do with some proxyuser setting in hue.ini. Even after doing changes suggested, I couldn't get it working.

Please help me in resolving this issue.

Regards,

私は、すべての Hadoop がどのように機能するかを理解しようとしている学生です。だから、私は 15 台のマシンで cloudera を実行しています。構成は問題ありません。すべてのサービスが緑色です。hbaseの下にmysql 12k行をインポートしましたが、すべてうまくいきました。これらのデータに対してクエリを実行したかったのですが、hbase ではできないことがわかっています。そのため、次のコードで外部ビューを作成したいと思います。

コンソールで実行するとフリーズし、ctrl-c でキャンセルする必要があります。色相では、これらのメッセージが何度もループしているだけです。

その後、次のような他のエラーがあります。

私が言ったように、すべてが正常に実行されているため、hbaseマスターとして...それは動物園の悪い構成でしょうか? 私は多くの検索を行いましたが、私を助けるものは何も見つかりませんでした。