問題タブ [combiners]

すべてのサブクラス variableOne を親クラスのプロパティ one に追加したい

また、すべてのサブクラス variableTwo を親クラス two に追加したい

他の配列値で複雑な配列を作成する必要があります。

元の配列は次のとおりです。

次のように、可能なすべての組み合わせ値を提供する関数を探しています。

もちろん、元の配列の値の数が異なっていても、このアルゴリズムは機能する必要があります。

これを行うための PHP ドキュメントで単純な関数を探していますが、見つかりませんでした。

「多重化」や「結合」などのキーワードでグーグルで検索しましたが、うまくいきませんでした。再帰関数を作成するのが最善の方法だと思いますが、正しいアルゴリズムが見つかりません。

次のようにすると、すべてがローカルで正常に動作します。

表示中"Java.io.IOException: Bad file descriptor" and "WARN org.apache.hadoop.streaming.PipeMapRed: java.io.IOException: Broken pipe"

これは、コンバイナーで実行した場合にのみ発生し、マッパーとリデューサーで実行した場合には発生しません。

マッパー:

コンバイナー:

レデューサー:

この問題は「逆索引」に似ています。最終的な出力は < word , [list of docs],count> になります。

どんな助けでもいいでしょう。

私はhadoopとmapreduceが初めてです。誰かがコンバイナーとマッパー内コンバイナーの違いを明確にすることができますか、それとも同じものですか?

df の 2 つの (作成された) サンプル行のサンプル:

上記の例のように、重複するユーザー ID が数百あるとします。ただし、大部分のユーザー ID は異なる値を持っています。

最初の値が NA でない限り、(2 のうちの) 1 番目の行の列の値に固執するように、重複したユーザー ID を持つ行を結合するにはどうすればよいですか (この場合、NA は 2 番目の値から得られた値で再設定されます)行）？

本質的に、上記の例から引き出すと、私の理想的な出力には次のものが含まれます。

スパークを使用しています。私はJavaPairRDDフォームのを持ってい<Documentname, Tuple2<Phrase, URL>>ます。

URLで指定されたページにフレーズがあるかどうかを基本的に確認した結果、上記の構造になりました。

現在、いくつかの重複するフレーズがあり (つまり、「to be or」は「to be or not to be」の中にあります)、大きなフレーズに含まれるこれらの短いフレーズを削除したいと考えています。

私は Spark に少し慣れていないので、Spark 内でこれを行う方法がわかりません。

二重のネストされたループを作成し、要素を collect() することで実行できることはわかっていますが、削減または集計を使用して Spark 内でそれを実行する方法があるかどうか疑問に思っています。

基本的に、フレーズの各ペアをチェックし、一方が他方に含まれていない場合は両方のフレーズを返すか、一方が含まれている場合は 1 つのフレーズのみを返す関数が必要です。

または、何らかのフィルターを実行して、これらの短いフレーズを削除したいと思います。

何か案は？

編集: CombinebyKey または AggregateByKey のいずれかが機能すると考えていますが、Java でそれらを使用する方法がわかりません。シーケンス・コンバイナー機能とは？

> のいくつかの要素をキーで組み合わせて、1 つのフレーズが他のフレーズに含まれていないタプルのリストを作成したいと考えています。

一部のマッパーが他のマッパーよりもかなり多くの時間を費やしている MapReduce ジョブを長時間実行しています。

Web インターフェースの統計を確認すると、私のコンバイナがレデューサー (2 つのマッパーがまだ実行されているためほとんどアイドル状態) にも影響を与えていることがわかりました。

時間を無駄にせず、すべてのマッパーが終了するまで事前集計を行うのが妥当と思われますが、この動作に関するドキュメントは見つかりません。これが実際に Hadoop の機能であること、または単に Web インターフェースで間違って表示されていることを確認できる人はいますか?