問題タブ [mapr]

私の開発ボックスには、、、、がありMapR 3.0.2ます。標準クエリを使用して、 ( )からテーブルを読み書きするために使用しています。Hive 0.11HCatLog 0.4.1Pig 0.12HCatlogHivePigPig Latin

私HiveのテーブルにはTIMTESTAMPデータ型（いくつかの列）が含まれているため、このステートメントの直後に次のようにGRUNTエラーが発生します

同様のクエリが : Type conversion pig hcatalogにあります。

Hiveテーブルのデータ型を変更できません。また、これらのツールを新しいバージョンに変更またはアップグレードすることもできません (クライアント ポリシーの制約)。文字列またはサポートされているデータ型にキャストするにはどうすればよいですか? &HCatalogの間に渡してさらに続行できますか?PigHive

Celery を使用してキューを管理するコンピューティング クラスター全体で Python タスクを実行するシステムがあります。これらのタスクは、MapR-FS に格納されたデータで動作します (Hadoop HFDS API を公開するため、Hadoop HDFS で機能する技術は MapR-FS でも機能するはずです)。

MapR-FS に保存されているファイルのローカル性を判断し、ファイルへのローカル アクセスを持つ特定のクラスター ノードで実行するタスクを割り当てたいと考えています。

これは可能ですか？

こんにちは、hbase VMWare サンドボックス MapR-Sandbox-For-Hadoop-3.1.0_VM を実行しています。サンドボックスに変更を加えていません。ブラウザ経由でコントロールパネルにアクセスできます。別の Linux VM には、Eclipse と hbase クライアントがインストールされています。hbase テーブルを作成したい Java プログラムがありますが、接続できません。助けてください

以下に示すように、エラーが発生します

エラー client.HConnectionManager$HConnectionImplementation: 「zookeeper.znode.parent」で設定された値を確認してください。マスターに設定されているものと一致していない可能性があります。

その後

timesorg.apache.hadoop.hbase.MasterNotRunningException: 1 回再試行しました

(以下の完全なスタック トレースを参照してください)。

私のアプリケーションは使用します

POMが含まれています

スタックトレース

MapReduce ジョブによって生成される一時データ用に未使用のままにしておく必要がある HDFS スペースの量に関する一般的な公式またはベスト プラクティスの見積もりはありますか? Cloudera や MapR などのさまざまなベンダーでは、これはどのように変化しますか? Pig スクリプトを微調整しているときに、クラスターを 20 GB から 60 GB に変更したり、小規模なテスト ジョブに戻したりするジョブがいくつかあります。クラスター計画についてこの質問をしています。

この決定に入る要因は何ですか？レデューサーの数は、生成される一時データの量、ジョブの特殊性に影響を与えると思います (たとえば、20 個のステートメントを含む Pig スクリプトがある場合、一時データが削除されていないことに気付きました)。 20 個のステートメントがすべて実行されるまで; 一時データを最小限に抑えたい場合は、20 個のステートメントを 3 つのスクリプト ファイルに分割し、それぞれを連続して実行する必要があります)、およびその他の要因。

こんにちは、正確な ubuntu 12.04 に MapR をインストールしようとしていますが、いくつかの問題に直面しています。インストールのために以下のリンクをたどりました

リンクに記載されているすべての手順に従いました。以下はエラーです

助けてください

MapR Hadoop クラスターへのエッジ ノードにアクセスできます。/app/SubscriptionBillingPlatform/Matthew という名前の HBase テーブルに偽のデータが含まれています。hbase シェルでスキャンすると、次のようになります。

テーブルをスキャンして各行をログに記録する非常に単純な Talend ジョブがあります。

tHBaseConnection の構成は次のとおりです。/opt/mapr/hbase/hbase-0.94.13/conf/hbase-site.xml ファイルから Zookeeper クォーラムとクライアント ポートを取得しました。

tHBaseInput の構成は次のとおりです。

ただし、ジョブをビルド/エクスポートしてエッジ ノードで実行した後に jar ファイルを SCP すると、次のエラーが発生します。

Talendが何であるかを知らないシステム管理者にこのことを話したところ、MapRはClouderaのようにHRegionServerを使用しないとのことで、私のTalend構成が間違っていると判断されました。

何か案は？

コマンドを使用してHbaseM7テーブルを一覧表示できます-

hbase>list '/mapr/cluster/tables/'

しかし、HBaseManager を使用してテーブルを一覧表示しようとするとうまくいきません.. コード スニペット 構成 conf =//set all m7 cluster; HBaseAdmin 管理者 = 新しい HBaseAdmin(conf); HTableDescriptor[] テーブル = admin.listTables()

テーブルの場所を listTables() 関数に渡す方法はありますか、それとも設定しなければならないプロパティでしょうか?

私はhbaseテーブルのページネーションに取り組んでいます。実装する必要がある機能は、UI ページネーション テーブルに次へ/進むおよび戻る/戻る機能が必要です。

フォワード オプションは PageFilter を使用して実装しましたが、バックワードの場合は、最後のキーから最新までの行 (20) を取得し、後方に移動する必要があります。例えば。1000 ～ 980 のすべてのレコードを逆方向に取得します。

私の要件を満たす hbase ソースが見つかりませんでした。どのように実装できるか考えていますか???

PS: 私の行キーは、TB 単位の複数のフィールドとデータ サイズの複合キーです。