2

Hadoop のファイルが書き込まれているかどうかを判断する方法はありますか? 例- ログを hdfs に入れるプロセスがあります。hdfs に新しいログが存在するかどうかを監視する別のプロセスがありますが、処理する前に、ファイルが hdfs に完全にアップロードされていることを確認したいと考えています。このようなことは可能ですか？

4

1 に答える 1

1

ファイルが現在書き込まれているかどうかにかかわらず、Hadoop ファイルシステム API は情報を提供していないようです。ただし、回避策として、問題のファイルの変更時刻を確認することができます。一定時間 (たとえば 20 分間) 書き込みが行われなかった場合は、コピーが完了したか停止したと想定しても問題ありません。

于 2009-11-19T21:11:42.780 に答える