0

レデューサーの処理中に次のエラーでバルクロードが失敗しました。m7 テーブルを更新しようとして、M5 クラスターで mapreduce を実行しています。

java.io.IOException: bulkLoaderClose() on '/home/test/account122' failed
with error: Function not implemented (38). 
at com.mapr.fs.Inode.checkError(Inode.java:1611) 
at com.mapr.fs.Inode.checkError(Inode.java:1583) 
at com.mapr.fs.Inode.bulkLoaderClose(Inode.java:1278) 
at com.mapr.fs.MapRHTable.bulkLoaderClose(MapRHTable.java:119) 
at com.mapr.fs.hbase.BulkLoadRecordWriter.close(BulkLoadRecordWriter.java:160)
at org.apache.hadoop.mapred.ReduceTask.runNewReducer(ReduceTask.java:621)
at org.apache.hadoop.mapred.ReduceTask.run(ReduceTask.java:458)
at org.apache.hadoop.mapred.Child$4.run(Child.java:278)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:415)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1566) at org.apache.hadoop.mapred.Child.main(Child.java:267)

hbase のバージョンは 0.98.12-mapr-1506 です。

Mapr-Db テーブルは一括読み込みが有効になっています。レデューサーはすべてのデータを処理し、バルクロード時に何らかの方法で失敗します。

助けてください。

4

3 に答える 3

0

デフォルトでは、MaprdDb テーブルは BulkLoading をサポートしていません。関数が実装されていません (38) エラーは、この機能がサポートされていないことを示します。

于 2016-01-08T02:30:19.100 に答える
0

一括読み込みに使用しているユーティリティは何ですか? ImportTsv を使用して、MapR-DB テーブルに一括ロードできます。

于 2016-01-06T23:45:42.587 に答える
0

以下のデータファイルとインポートをテストしました。これがクラスターで機能するかどうか試してください。

1) 以下のデータをクラスター内の mfs に追加します。パス ./mapr/demo.mapr.com/home/datafile.csv: 2014,1,1,1,3,2014-01-01,AA,N338AA,1,JFK,LAX,0914,14.00 に置き換えます。 ,1238,13.00,0.00,,385.00,359.00,2475.00,,,,,,2014,1,1,2,4,2014-01-02,AA,N338AA,1,JFK,LAX,0857,-3.00, 1226,1.00,0.00,,385.00,340.00,2475.00,,,,,,

export CF="cf1"

2) maprcli table delete -path /home/test/account122 3) maprcli table create -path /home/test/account122 3) maprcli table cf create -path /home/test/account122 -cfname $CF

インポート ジョブの実行

4)java -cp hbase classpathorg.apache.hadoop.hbase.mapreduce.ImportTsv \ -Dimporttsv.separator=, \ -Dimporttsv.columns=$CF:年,$CF:qtr,$CF:月,$CF:dom,$ CF:dow,HBASE_ROW_KEY,$CF:carrier,$CF:tailnum,$CF:flightnumber,$CF:origin,$CF:dest,$CF:deptime,$CF:depdelay,$CF:arrtime,$CF:arrdelay ,$CF:cncl,$CF:cnclcode,$CF:elaptime,$CF:airtime,$CF:distance,$CF:carrierdelay,$CF:weatherdelay,$CF:nasdelay,$CF:securitydelay,$CF:aircraftdelay ,$CF:dummy \ /home/test/account122 \ /mapr/demo.mapr.com/home/datafile.csv

于 2016-01-07T17:25:58.917 に答える