問題タブ [spring-data-hadoop]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
hadoop - Web リクエストから Spring Boot 糸アプリケーションにパラメーターを渡す方法
spring-boot と spring-boot-yarn を使用して、yarn アプリケーションをクラスターに送信しています。
私のユースケースは、このチュートリアルhttps://github.com/spring-guides/gs-yarn-basicで説明されているユースケースに近いものです。
唯一の違いは、私の「クライアント」は Web アプリケーションであり、Web 要求が行われたときに糸のジョブを送信することになっていることです。
私が抱えている問題は、「クライアント」Web アプリケーションへの Web 要求が、yarn ジョブに渡す必要があるパラメーターを提供することです。
上記のチュートリアルでは、パラメーターはコマンド ライン引数として、application.yml で指定された appmaster / コンテナーに渡されます。私の場合、糸のジョブごとに異なるパラメーターのセットがあるため、このアプローチは機能しません。
動的パラメーターを application.yml にハードコーディングせずに糸ジョブに渡す方法はありますか?
android - Spring data Hadoop、Hbase Rest API、HBase Java Client : Android と HBase 間の通信を処理するために実装するのに最適なのはどれか
HBase データベースと Android の間で通信するための最良の方法を知っている人はいますか?
基本的に、Android アプリから HBase テーブルに次のようにします。
私は自分でいくつかの研究を行っていました。
HBase レスト API
この API の機能は非常に限られていることがわかりました。テーブルから複数の行にアクセスしたい。この API では、単一の行のみを選択できます。また、おそらくクエリのサポートがなく、ドキュメントが少ないため、この API を使用することはできません。そして、DBを直接公開したくありません。
春のデータ Hadoop
率直に言って、私はSpringに詳しくありません。HBaseTemplate をサポートしていることを読みました。これを HBase で使用し、Web API として公開した人はいますか。
HBase JAVA クライアント API
Spring data Hadoopはこれよりも柔軟だと思います。
だから私は2.が進むべき道だと信じています。
もっとクールでシンプルな何か違うものを試した人はいますか？
編集：
私は自分の問題を解決しました。Spring-data-Hadoop で RESTFUL Web サービスを作成しました。
hbase - spring hbaseTemplate が java.lang.IllegalArgumentException: Not a host:port ペアをスローする: PBUF
私は Hbase の初心者であり、Spring ソリューションである hBaseTemplate を使用して HBase にアクセスしたいと考えています。しかし、私は何度もテストしましたが、決して成功することはありません。これが私がしたことです。私が使用しているサンプルは次のとおりです: https://github.com/spring-projects/spring-data-book/tree/master/hadoop/hbase
最新の安定した HBase ビルド、バージョン 1.0.1.1 を使用しています。UserApp を起動すると、次のエラーが発生しました。
だから私はこのエラーをグーグルで検索します:ホストではありません:ポートペア: PBUF
POMファイルをチェックし、
バージョンがクライアントとサーバーで異なるためだと人々は言いました。そのため、hbaseServer 0.92.1 をダウンロードし、HBaseServer を起動してから、プロジェクトを再度開始すると、エラーは次のようになります。
Hbase Shell を使っていても例外が多く発生するので、古いバージョンの hBase サーバーは諦めました。
POM で同じ hBaseClient を使用して、最新の HBase サーバー 1.0.1.1 に一致させようとしましたが、jar を使用できないというエラーか、その他の主要なマイナー バージョンの例外のいずれかです。
そのような経験がある人は、どのように修正し、hbaseTemplate を使用して最新の安定した hBaseBuild を操作するか教えてもらえますか? 春のプロジェクトなどをどのように設定しますか? あなたの実用的なソリューションを見せてもらえますか?
どうもありがとう。
接続文字列: これは、サンプルで使用されているコンテキストです。
Hadoop の依存関係を次のように変更しようとしました。
PBUF エラーはなくなりましたが、代わりに次のエラーが発生しています。
cloudera-cdh - CDH 5.4.x の apache hadoop のスプリング データを使用するにはどうすればよいですか?
公式ドキュメントによると、「Spring for Apache Hadoop 2.2 GA」は CDH 5.3.3 のみをサポートしています。
CDH 5.4.X で「Spring Data Hadoop」を使用する方法はありますか、それとも次のバージョンを待つ必要がありますか? 2.3 バージョンは CDH 5.4.x をサポートしますか?
編集：
Cloudera クイック スタート VM cdh 5.4.2 を使用して、この hbaseサンプルとこのスプリング ブートサンプルを完成させました。したがって、CDH 5.4.X で Hbase または Hadoop シェルを使用するだけの場合は、「Spring for Apache Hadoop 2.2 GA」で満足できると思います。そうでない場合は、以下の Thomas Risberg の回答をご覧ください。
Hbase サンプルで使用したライブラリは次のとおりです。
スプリング ブート サンプルで使用したライブラリは次のとおりです。
hbase - Spring Data Hadoop を使用して Cloudera QuickStart VM Hbase に接続すると、不明なホスト例外が発生する
CDH 5.3.x 用の QuickStart VMを使用しています
この春の Hadoop サンプルを hbaseに実装しようとしています
ホスト コンピューターからのサンプルは、VM 内の Hbase に接続して、テーブルの作成、データの追加、データの読み取りを行います。
私のポンで私は使用します
私の hbase.propertise ファイル:
私のapplication-context.xml：
サンプルを実行すると、次の例外が発生しました。
誰かがこの例外を解決するのを手伝ってくれますか?
spring-data-hadoop - Spring Hadoop Java 構成
JavaConfig サポートの現在の状態は? 私が見るように、Hadoop 構成を次のようにセットアップすることが可能です: http://docs.spring.io/spring-hadoop/docs/2.2.0.RELEASE/reference/html/springandhadoop-config.html#using-the-spring -for-apache-hadoop-javaconfig . しかし、ジョブ、ジョブランナー、Hive および HBase 構成についてはどうでしょうか? 何らかの形ですでにサポートされていますか？将来のリリースの予定はありますか? そして最後に、今のところ、Spring Hadoop を使用した Hadoop 構成のベスト プラクティスは何ですか?