Platfora および Datameer 分析ツールのインストールに関心があります。私の疑問は、これらのツールの両方のドキュメントにあります。既存の Hadoop ディストリビューションについては、CDH、HDP、および MapR を含む互換性リストが提供されていることがわかります。しかし、これらを既存のプレーンな Hadoop にインストールしたかったのです。つまり、Apache Hadoop コンポーネントを 1 つずつダウンロードして Hadoop をインストールし、クラスターを準備しました。
この場合、これらのツールは機能しますか?
Hortonworks の HDP ディストリビューションを選択することで、プレーンな Apache Hadoop を使用して Platfora をインストールできます。HDP ディストリビューションのコアはプレーンな Apache Hadoop です。(私は Platfora で働いています。私たちは多くの異なる Hadoop ディストリビューションをサポートしていますが、実際には開発の多くはプレーンな Apache Hadoop を使用して行われています)。
Platfora は、Hadoop クラスターを入力データに使用するだけでなく、ネイティブの MapReduce および Apache Spark ジョブを生成して、未加工の大量の構造化または半構造化入力データ (JSON、XML、ログ ファイル、CSV、Avro、Hive からのデータ、他の処理パイプラインやライブラリの出力など)。これはスケーラビリティに優れていますが、ワークフローに MapReduce や Spark などのレイテンシの高いフレームワークを使用すると、分析の質問が変更されるたびにターンアラウンド タイムが長くなり、生産性が低下します。そのため、Platfora は、低遅延のビジュアル ディスカバリー フロントエンドをサポートする分散型のスケールアウト インメモリ クエリ エンジンを使用して、これらの中間結果にアクセスします。
はい、動作します。「最新の安定した」Yarn、HDFS、および Map Reduce バージョンを使用している限り、Datameer は問題なく動作します。Datameer は Hive、Oozie、またはその他のコンポーネントを使用していませんが、tez、spark などをアプリケーション内に事前にパッケージ化し、Yarn で透過的に実行するため、それ以上のものは問題ではありません。現在、Hadoop の 50 の異なるバージョンをサポートしています。
私は明らかに Platflora について話すことはできませんが、Hadoop で実際にネイティブに実行されるわけではなく、Hadoop から追加のクラスターで実行されるメモリ内の列型データベースにデータをプルするだけです。 SQL 以降のみ (Hadoop は NO-SQL として構築されたことを思い出してください) + 小さなデータのみ (メモリ内から) + SQL ベースであるため、グラフ分析などの高度な分析はありません
HTH Stefan (私は Datameer で働いています)