2

これを出力で取得したので、BP、Blk とは何かを知りたいだけですか? この出力のそれぞれの意味を説明していただけますか? 私は知っている

 BP-929597290-192.0.0.2-1439573305237:blk_1074084574_344316 len=2 repl=3 [DatanodeInfoWithStorage[192.0.0.9:1000,DS-730a75d3-046c-4254-990a-4eee9520424f,DISK], DatanodeInfoWithStorage[192.0.0.1:1000,DS-fc6ee5c7-e76b-4faa-b663-58a60240de4c,DISK], DatanodeInfoWithStorage[192.0.0.3:1000,DS-8ab81b26-309e-42d6-ae14-26eb88387cad,DISK]]

192.0.0.9:1000 はデータの最初のレプリケーションの IP だと思います

4

1 に答える 1

6

  1. BP-929597290-192.0.0.2-1439573305237

    これはブロック プール ID です。ブロック プールは、単一の名前空間に属するブロックのセットです。簡単にするために、名前ノードによって管理されるすべてのブロックは同じブロック プールの下にあると言えます。

    ブロック プールは次のように形成されます。

    String bpid = "BP-" + rand + "-"+ ip + "-" + Time.now();        

Where: 
rand = Some random number
ip = IP address of the Name Node
Time.now() - Current system time

    ブロック プールについては、https ://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/Federation.html を参照してください。

  2. blk_1074084574_344316:

    ブロックのブロック番号。HDFS の各ブロックには一意の識別子が与えられます。

    ブロック ID は次のように形成されます。

    blk_<blockid>_<genstamp> 

Where: 
blockid = ID of the block
genstamp = an incrementing integer that records the version of a particular block

    生成スタンプについてはこちらをご覧ください: http://blog.cloudera.com/blog/2009/07/file-appends-in-hdfs/

  3. 長さ=2

    ブロックの長さ: ブロック内のバイト数

  4. 交換=3

    このブロックには 3 つのレプリカがあります

  5. DatanodeInfoWithStorage[192.0.0.9:1000,DS-730a75d3-046c-4254-990a-4eee9520424f,ディスク

    どこ：

    192.0.0.9 => IP address of the Data Node holding this block
1000 => Data streaming port
DS-730a75d3-046c-4254-990a-4eee9520424f => Storage ID. It is an internal ID of the Data Node. It is assigned, when the Data Node registers with Name Node
DISK => storageType. It is DISK here. Storage type can be: RAM_DISK, SSD, DISK and ARCHIVE

ポイント 5 の説明は、残りの 2 つのブロックに適用されます。

DatanodeInfoWithStorage[192.0.0.1:1000,DS-fc6ee5c7-e76b-4faa-b663-58a60240de4c,DISK], 
DatanodeInfoWithStorage[192.0.0.3:1000,DS-8ab81b26-309e-42d6-ae14-26eb88387cad,DISK]]
于 2015-12-28T17:10:09.473 に答える