問題タブ [mapr]

カスケードで非常に大きな行を含むファイルをロードするために、カスケーディングで TextLine を使用しています。行は非常に長く、平均で約 30Mb で、それより長いものもあります。ジョブをローカルで実行してテストすると正常に動作しますが、クラスターで実行すると、一定期間の集中的なクランチの後に失敗します。次のようなエラーが発生します。

また、古いファイル ハンドルについて不平を言うこともあります。読み込もうとしているファイルは間違いなくそこにあります。誰か助けてくれませんか？

システムに MapR をインストールしたいので、centos に sshpass をインストールしようとしています。

ここにあるガイドラインに従っています: http://doc.mapr.com/display/MapR/Quick+Installation+Guide

次の問題が発生します。

誰かがどこからsshpassを取得するかを理解するのを手伝ってくれるなら、それは素晴らしいことです.

前もって感謝します

Hadoop クラスター (特に MapR) をデプロイおよび管理するための Chef クックブックを開発しようとしています。

私の理解によると、Chef は Hadoop クラスターを自動化された方法でインストールするための優れたツールです。しかし、Chef が、インストール後に Hadoop クラスターの構成を管理/変更し、クラスターが完全にダウンする状態 (災害復旧の場合) にクラスターを構築するのにどのように役立つかはわかりません。

私は Hadoop、特に Hadoop Job Scheduling にかなり慣れていません。これが私がやろうとしていることです。

2 つのフローがあり、それぞれに Hadoop ジョブがあります。これらのフローを同じプロジェクトまたは別のプロジェクトに自由に配置できます。Hadoop ジョブがクラスターで同時に実行されることは望ましくありませんが、それらが交互に実行されることも確認したいと考えています。

たとえば、flow_1 (hadoop_job_1 を使用) の実行と終了 -> flow_2 (hadoop_job_2 の使用) の実行と終了 -> flow_1 (hadoop_job_1 の使用) の実行と終了などです。

そしてもちろん、特別な条件も優雅に扱いたいと思います。たとえば、flow_1 は完了しましたが、flow_2 の準備ができていない場合、flow_1 の準備ができていれば再度実行する機会が得られ、flow_1 が失敗した場合でも、flow_2 にはまだ順番があります。

これを行うことができる、調査できるスケジューラーを知りたいです。

MapRを使用しています。

ありがとう

MapR には、HDFS アプローチとは異なる新しいアーキテクチャ (コンテナ アーキテクチャ) が付属しています。違いは何ですか？これはどのようにデータを保存しますか? 長所と短所は何ですか?

yyyyMMdd 形式の日付で分割されたテーブルがあります。次のような単純なクエリを実行すると:

次に、3 日分のデータをスキャンします (今日は 26 日です)。ただし、クエリで常に過去 3 日間を参照するようにしたいので、次のように記述します。

問題は、すべてのパーティションをスキャンするようになったことです。大なりの後のクエリの部分を事前に計算する方法はありますか?

github ( https://github.com/apache/lucene-solr ) から Apache Solr をダウンロードしました。ANT を使用してプロジェクトをビルドし、.war ファイルを TOMCAT7 にデプロイします。すべてが成功しました。しかし今、Apache Solr での認証に Sentry を使用したいと考えています。多くのドキュメントを読みましたが、明確ではありません。

これら 2 つの製品がどのように依存関係を持っているのか、また Solr で Sentry を使い始める方法がわかりません