問題タブ [multipleoutputs]

map/reduce の出力を複数のファイル (既に機能している) と HBase テーブルに書き込めるようにする必要があります。これは可能ですか？MultipleOutputs オプションを見ていましたが、それを行う方法や実行可能かどうかさえわかりません。私はハドップに非常に慣れていません。誰かがウェブ上の例を知っている場合は、正しい方向を教えてください。ありがとうございました。

GUIに2つの出力ロガーを持たせようとしています。このコードは、各ファイルに正しく出力されます。

しかし、その後、GUI で同じ 2 行をテストすると、機能しなくなります。私のロガーの解釈は間違っていますか、それとも何か間違っていますか?

代わりに、メインで以下の行を使用すると (したがって、文字列から myApp を削除しました)、ロガーはアプリ全体で完全に機能しますが、すべてが 1 つのファイルにのみ送信されます。

PS できればサードパーティのクラスは使いたくありません。

削減フェーズの削減プログラムで MultipleOutputs を使用しています。私が取り組んでいるデータ セットは約 270 mb で、擬似分散単一ノードでこれを実行しています。マップの出力値に書き込み可能なカスタムを使用しました。キーはデータセットに存在する国です。

}

上記は私の削減ロジックです

問題

1) 上記のコードは小さなデータ セットでは問題なく動作しますが、270 MB のデータ セットではヒープ スペースが原因で失敗します。

2) 国をキーとして使用すると、単一の反復可能なコレクションでかなり大きな値が渡されます。これを解決しようとしましたが、MutlipleOutputs は特定のキー セットに対して一意のファイルを作成します。ポイントは、以前のreduceの実行によって作成された既存のファイルを追加できず、エラーがスローされることです。したがって、特定のキーについては、新しいファイルを作成する必要があります。これを回避する方法はありますか? . 上記のエラーを解決すると、キーを国名 (最終的に並べ替えられたデータ) として定義することになりましたが、Java heap error がスローされます。

サンプル入力

3858241,"Durand","Philip","E.","","","Hudson","MA","US","",1 3858241,"Norris","Lonnie","H. ","","","ミルフォード","マサチューセッツ州","US","",2 3858242,"グッディング","エルウィン","R.","","120 ダーウィン ロード"," Pinkney","MI","US","48169",1 3858243,"Pierron","Claude","Raymond","","","エピナル","","FR","", 1 3858243,"ジェニー","ジャン","ポール","","","デシネス","","FR","",2 3858243,"ズッカロ","ロバート",""," "、"","エピナル","","FR","",3 3858244,"マン","リチャード","L.","","PO Box 69","ウッドストック","CT"," US","06281",1

小さなデータセットの出力例

サンプルディレクトリ構造...

CA-r-00000

FR-r-00000

Quebec-r-00000

TX-r-00000

US-r-00000

＊個別内容＊

3858241 フィリップ・E・デュランド

ロニー・H・ノリス

3858242

エルウィン・R・グッディング

3858244

リチャード・L・マン

mapreduce ジョブに問題があります。出力ファイルの形式file-day-26をpart-r-00000.

addNamedOutputメソッド( ) でこれを達成しようとしましたMultipleOutputsが、一部しか変更できませんでしたpart。

旧APIではメソッドgenerateFileNameForKeyValue( MultipleTextOutputFormat)でこれができるようですが、旧APIは使えないので、Hadoopの新APIにこんなものはないかと思っています。

誰かが私を助けることができますか？

ありがとう。

私のphpコードは、選択した複数のオプションを表示していません。私は何を間違っていますか？

これは私のform.html内のコードです

これはform.php内の私のphpコードです

少し行き詰まっています...クエリから出力を取得し、単一の基準に基づいて多数のファイルに分割しようとしています。varchar 型を int に変換するときにエラーが発生し、その理由がわかりません。SQL Server 2008 で作業しています...

私が得ているエラーは次のとおりです。

LOOP 値を使用して、各ファイルの内容を知らせようとしています。たとえば、LOOP='1' は、LIST_ID='1' に関連付けられた顧客レコードがファイルに含まれていることを意味します。

エラーについての考え？

bash スクリプトを使用してモーション検出の方法をテストしています。ImageMagick 比較コマンドを実行し、結果をテキスト ファイルに出力しています。

ループは、実行されるたびに 1 つの出力を作成します。各出力を 1 つのテキスト ファイルに配置し、コンマで区切る必要があります。

現在使用しているコードは次のとおりです。

このコードでは、すべてのデータを 1 つのテキスト ファイルにまとめていますが、データは一緒に表示され、1 つの大きな数字のように見えます。

現時点ではデータはテキストファイルに入れられていますが、「4873343460936622743393154537」のように表示されます。

読みたい場合：「4873,343,4609,366,2274,339,315,4537」