3

Webアプリケーションと1つのリモートクラスターがあります（1つ以上の場合もあります）。これらのクラスターは、異なるマシン上に配置できます。Webアプリケーションから次の操作を実行したい：

1 HDFSアクション：-

  • 新しいディレクトリを作成する
  • HDFS（Hadoop分散ファイルシステム）からファイルを削除します
  • HDFSに存在するファイルを一覧表示します
  • ファイルをHDFSにロードします
  • ファイルのアンロード

2ジョブ関連のアクション：-

  • MapReduceジョブを送信する
  • それらのステータス、つまり完了したジョブの量を表示します
  • ジョブが完了するまでにかかった時間

これらのタスクをWebアプリケーションから（API、REST呼び出しなどを介して）実行するのに役立つツールが必要です。ツールは（Webアプリケーションと）同じマシンで実行され、特に、リモートクラスター。

最後のオプションとして（複数の異なるクラスターが存在する可能性があるため、それぞれにプラグイン、ライブラリなどがインストールされていることを確認するのは困難です）、Hadoopライブラリ、プラグインがあるかどうか疑問に思います-クラスター上にあり、リモートマシンからのアクセスを許可し、前述のタスクを実行します。

4

1 に答える 1

2

ここにリストしたすべてのものを許可する最高のフレームワークは、SpringData-ApacheHadoopです。これには、次のことを行うJavaScriptingAPIベースの実装があります

1 HDFS Actions :-

Create New Directory
Remove files from HDFS(Hadoop Distributed File System)
List Files present on HDFS
Load File onto the HDFS
Unload File

同様に、次のことを行うための春のスケジューリングベースの実装

2 Job Related Actions:-

Submit Map Reduce Jobs
View their status i.e. how much job has comleted
Time taken by the job to finish
于 2012-12-03T11:57:50.610 に答える