Hadoop は次の問題の解決に役立ちますか?
いくつかのルールに従って、1000 GB の単語を 1 つの単語に折りたたむ必要があります。例えば:
fold("dog","cat") = "pet"
単語がどの順序で折りたたまれているかは重要ではありません。すべてのデータをいくつかのチャンクに分割し、最初に各チャンク内に単語を折りたたむことを考えていました。その後、結果の単語を折り畳みます。
質問:
1) このタスクに Hadoop を使用する意味はありますか?
2) 作成するチャンクの数と、Hadoop が効率的に機能するために必要なチャンクのサイズは?
ありがとう!