HDFS 経由でデータにアクセスする必要があるときに発生するすべてのステップを理解したいと考えています。HDFS での書き込み/読み取り操作の段階的な説明はどこにありますか。
namenode にファイルシステム固有のメタデータが含まれていることは十分承知しています。しかし、名前ノードに格納されているデータが何であるかを正確に知りたいです。ここに私の推測があります: 個々のデータノードは、それらがホストするそれぞれのブロックのブロック情報でネームノードを更新するため、それらが起動すると、ネームノードには、データが格納されているブロック番号を含むファイル名 (完全なディレクトリ構造) が含まれます。そのファイルはに保存されています。読み取り/書き込みが発生するたびに、ネームノードからブロック番号を書き込み/読み取り、ネームノードによってメモリ内に格納された逆マッピングに従ってデータノードにアプローチします (マップは、データノードが発生したときに構築および更新されました)。どのブロック番号がどのデータノードによってホストされているか、したがってどのデータノードとの間で情報を読み書きする必要があるかをファイル操作に伝えます。これは単なる推測であり、誰かがこれについて確認できれば幸いです. また、これは map reduce job への入力として指定されたファイルからマッパーが読み取る方法ですか?