1

Hadoop では、常に -put コマンドを使用して手動で入力ファイルを配置します。このプロセスを自動化する方法はありますか?

4

3 に答える 3

0

ファブリックライブラリとPythonを使用すると、このプロセスを自動的に行うことができます。関数にhdfsputコマンドを記述して、複数のファイルに対してそれを呼び出し、ネットワーク内の複数のホストに対して同じ操作を実行できます。ファブリックは、シナリオで自動化するのに非常に役立つはずです。

于 2013-02-26T19:25:38.673 に答える
0

HDFSにドロップするファイルの数はわかりませんが、ファイルを監視してからドロップするための1つのソリューションは、ApacheFlumeです。これらのスライドはまともなイントロを提供します。

于 2012-04-26T18:19:01.740 に答える
0

Hadoop ファイルシステムにファイルを入力する自動プロセスはありません。ただし、1 つのコマンドで複数のファイルを -put または -get することは可能です。

Hadoop シェル コマンドの Web サイトは次のとおりです http://hadoop.apache.org/common/docs/r0.18.3/hdfs_shell.html

于 2012-04-26T06:33:44.453 に答える