HDFS は、ファイルの作成/変更/削除などのファイル システム イベントをポーリングする方法を提供しますか? また、そのようなイベントが発生したときに通知を受けるためのコールバックメカニズムを提供/サポートしていますか?
そのようなことの即時かつ精巧なユースケースは見当たりませんが、この機能を確認するための特定の要件があります。これについて言及しているドキュメントは見つかりませんでした。HDFS コミッターのいずれかがこれについてコメントしてくれれば幸いです。
HDFS は、ファイルの作成/変更/削除などのファイル システム イベントをポーリングする方法を提供しますか? また、そのようなイベントが発生したときに通知を受けるためのコールバックメカニズムを提供/サポートしていますか?
そのようなことの即時かつ精巧なユースケースは見当たりませんが、この機能を確認するための特定の要件があります。これについて言及しているドキュメントは見つかりませんでした。HDFS コミッターのいずれかがこれについてコメントしてくれれば幸いです。
現在、HDFS
これを可能にする組み込み機能はありません。
回避策は、監視されているディレクトリでクライアント側のポーリングを実行するか、記録されたすべてのイベントのトランザクション ログを手動で追跡することです。
hadoop 2.7 の時点で、これはINotify
ライブラリで可能になりました。この例を参照してください: https://github.com/onefoursix/hdfs-inotify-example/blob/master/src/main/java/com/onefoursix/HdfsINotifyExample.java