1

hdfsの場所からデータを取得してhbaseに入れるPutHBaseJSonプロセッサを使用しています.hdfsの場所にあるデータは以下のような形式で、これは単一のファイルです。

{"EMPID": "17", "EMPNAME": "b17", "DEPTID": "DNA"}            
{"EMPID": "18", "EMPNAME": "b18", "DEPTID": "DNA"}
{"EMPID": "19", "EMPNAME": "b19", "DEPTID": "DNA"}

PutHBaseJSon プロセッサを実行すると、最初の行のみがフェッチされ、作成した hbase テーブルに配置されます。このプロセッサを使用して、そのファイルに存在するすべての行を取得することはできませんか? または単一のファイルからすべてのレコードをhbaseに取得する方法は?

4

2 に答える 2

1

PutHBaseJSON は、単一の JSON ドキュメントを入力として受け取ります。HDFS からフェッチした後、SplitText プロセッサを行数 1 で使用して、各 JSON ドキュメントを単一のフロー ファイルに取得できるはずです。

1 つの HDFS ファイルに何百万もの JSON レコードがある場合は、2 段階の分割を実行する必要があります。最初の SplitText は、たとえば 10,000 の行数で分割し、次に 2 番目の SplitText でそれらをそれぞれ 1 行に分割する必要があります。

于 2016-06-14T11:40:05.967 に答える