1

Sqoop で以下の質問がありますか?

  • sqoop のインポート/エクスポート ジョブの投機的実行をオフ/オンに設定できるかどうかに興味がありました。
  • また、sqoop のインポート/エクスポート プロセスでレデューサーの数を設定するオプションはありますか。私の分析によると、sqoop はレデューサーを必要としませんが、正しいかどうかはわかりません。これについて私を修正してください。
  • 私は、mysql、oracle、および上記以外に使用できる他のデータベースで sqoop を使用しました。

ありがとう

4

2 に答える 2

3

1) sqoop では、デフォルトで投機的実行がオフになっています。複数のマッパーが単一のタスクに対して実行されると、HDFS でデータの重複が発生するためです。したがって、この不一致を避けるためにオフになっています。

2) sqoop ジョブのレデューサーの数は 0 です。これは、データを HDFS にダンプする MAP のみのジョブを実行する単なるジョブであるためです。私たちは何も集約していません。

3) Postgresql、HSQLDB を mysql、oracle と一緒に使用できます。mysql と Postgre で直接インポートがサポートされている方法。

于 2015-04-22T19:39:11.157 に答える
0

  1. 投機的実行はデフォルトでオンになっています。これは、map タスクと reduce タスクに対して個別に、クラスター全体またはジョブごとに有効または無効にすることができます。

  2. [Sqoop のリデューサーなし][1]: http://i.stack.imgur.com/CH8pb.png

  3. JDBC 互換の RDBMS (MySQL、Oracle、Postgre など)

于 2016-08-18T18:31:06.493 に答える