問題タブ [multipleoutputs]

MultipleOutputs の概念を使用したマップのみの Hadoop ジョブを作成しました。ここでの問題は、このコードを MRUnit でテストしたいということです。MultipleOutputs テストの実例は見当たりません。

私のマッパーコードは次のようになります

MultipleOutputs を使用した MRUnit テストの実例を教えてください。

MyBatis を使用して呼び出す必要があるストアド プロシージャがあります。とにかく、このストアドプロシージャを呼び出すことができました。プロシージャには複数の出力パラメータがあります。out パラメータの 1 つは Oracle カーソルです。Oracle Cursor を反復処理する必要がありますが、fetchSize 属性を使用して jdbc ドライバーを微調整せずにこれを行うと、行ごとに処理され、このソリューションは非常に遅くなります。プロシージャ コールの fethcSize 属性を設定できます。

しかし、これはまったく役に立ちません。複数の out パラメータがあるため、これは機能しないと思います。そのため、プログラムは、このフェッチ サイズをどこに適用する必要があるか、どの out パラメータに適用するかわかりません。ResultSet(Oracleカーソル)にフェッチサイズを設定する方法はありますか? java.sql パッケージの CallableStatemen を使用する場合と同様に、ResultSet フェッチ サイズを設定できます。

以下は、プログラムからのマッピング ファイルとプロシージャ コールです。

そしてプログラムから呼び出します：

前もって感謝します！

レデューサーで MultipleOutputs を使用します。複数の出力は、ファイルを NewIdentities というフォルダーに書き込みます。コードは次のように示されます。

以前に実行できます。しかし、今日実行すると、以下のように例外がスローされます。私の Hadoop バージョンは 2.4.0 です。

エラー: org.apache.hadoop.fs.FileAlreadyExistsException: クライアント 192.168.71.128 の /CaptureOnlyMatchIndex9/TEMP/ChangeReport/NewIdentities/-r-00000 は、org.apache.hadoop.hdfs.server.namenode.FSNamesystem.startFileInternal(FSNamesystem) に既に存在します.java:2297) org.apache.hadoop.hdfs.server.namenode.FSNamesystem.startFileInt(FSNamesystem.java:2225) org.apache.hadoop.hdfs.server.namenode.FSNamesystem.startFile(FSNamesystem.java:2178) ) org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.create(NameNodeRpcServer.java:520) で org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.create(ClientNamenodeProtocolServerSideTranslatorPB.java:354) で org.apache. hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol$2.callBlockingMethod(ClientNamenodeProtocolProtos.java) org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:585) org.apache.hadoop.ipc.RPC$Server.call(RPC.java:928) at org.apache.hadoop.ipc.Server$Handler$1.run (Server.java:2013) at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2009) at java.security.AccessController.doPrivileged(Native Method) at javax.security.auth.Subject. doAs(Subject.java:415) at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1548) at org.apache.hadoop.ipc.Server$Handler.run(Server.java:2007) at sun .reflect.NativeConstructorAccessorImpl.newInstance0(ネイティブ メソッド) の sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:57) の sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45) の java.lang.reflect.Constructor.newInstance （コンストラクタ。java:526) org.apache.hadoop.ipc.RemoteException.instantiateException(RemoteException.java:106) で org.apache.hadoop.ipc.RemoteException.unwrapRemoteException(RemoteException.java:73) で org.apache.hadoop.hdfs .DFSOutputStream.newStreamForCreate(DFSOutputStream.java:1604) で org.apache.hadoop.hdfs.DFSClient.create(DFSClient.java:1465) で org.apache.hadoop.hdfs.DFSClient.create(DFSClient.java:1390) でorg.apache.hadoop.hdfs.DistributedFileSystem$6.doCall(DistributedFileSystem.java:394) org.apache.hadoop.hdfs.DistributedFileSystem$6.doCall(DistributedFileSystem.java:390) org.apache.hadoop.fs.FileSystemLinkResolver. resolve(FileSystemLinkResolver.java:81) org.apache.hadoop.hdfs.DistributedFileSystem.create(DistributedFileSystem.java:390) org.apache.hadoop.hdfs.DistributedFileSystem.create(DistributedFileSystem.java:334) org.apache .hadoop.fs.FileSystem.create(FileSystem.java:906) at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:887) at org.apache.hadoop.fs.FileSystem.create(FileSystem.java: 784) org.apache.hadoop.mapreduce.lib.output.TextOutputFormat.getRecordWriter(TextOutputFormat.java:132) で org.apache.hadoop.mapreduce.lib.output.MultipleOutputs.getRecordWriter(MultipleOutputs.java:475) で