hive - Hiveでマッパーの最大数を1に設定します

Question

文字列から整数IDへのマッピングを行う必要があります。UDF関数を実行して、この文字列を渡してスローすることを検討していました。これを機能させるには、マッパーが1つ必要です。

マッパーを1にブロックするにはどうすればよいですか？

助けてくれてありがとう

Answer 1

あなたがやろうとしていることは理解できますが、UDF ベースのアプローチは、その文字列から ID へのテーブルがメモリに常駐しなければならないため、うまくスケーリングできません。map-reduce ジョブを使用してマッパーから単一のレデューサーに文字列を渡すと、より簡単に処理できる場合があります。レデューサー インスタンスは、reduce メソッドに渡されたすべての文字列 (すべて同じ文字列) をカウンターの次の整数値に関連付けるために使用するインクリメント カウンターを保持します。

他の誰かが入力形式を制限して単純な分割を生成する方法を知っているかもしれません (単一のマッパーを取得するため)。