hive - Namenode の MetaData と Hive の Metastore

Question

Hadoop では、ブロックが存在するすべての情報を含む NameNode のメタデータが既にあるため、Hive のメタストアについて読んでいるときに、MetaStore の用途を理解できませんでした。メタストアに新しい種類のインデックスが必要な理由。新しいものを使用する代わりに、Namenode のメタデータを使用できなかった理由。

Answer 1

Namenode のメタデータには、ブロックの場所が格納されます。ファイルを要求すると、namenode は、特にそのファイルをホストしている 3 つのデータノード (デフォルトのレプリケーションを使用) を示します。Namenode のメタデータは、保存しているファイルの種類を追跡しません。

Hive のメタデータには、より多くのマッピングが格納されます。Hive でテーブルを作成するときは、基になるデータを列にマップする方法と、入力を処理するファイルの種類を定義します。Hive メタストアは、さまざまなテーブルについてこれを追跡し、たとえば、1 つのテーブルの入力を Avro 形式で、別の JSON を、3 番目のテーブルを単純な TSV テキスト ファイルとして保持できるようにします。