問題タブ [sqoop2]

Amazon EMR クラスター (AMI バージョン 3.2.0 / Hadoop バージョン 2.4.0) に sqoop 2 (バージョン 1.99.3) をインストールしようとしています。sqoop サーバーを起動すると、localhost.log に次のエラーが表示されます。

インストール手順に従って、これが私が行ったことです。EMR では、$HADOOP_HOME は /home/hadoop であることに注意してください。

• Apacheから sqoop-1.99.3-bin-hadoop200.tar.gz をダウンロードし、$HADOOP_HOME/sqoop に解凍しました。
• catalina.properties の common.loader プロパティに以下を追加しました: /home/hadoop/share/hadoop/common/*.jar,/home/hadoop/share/hadoop/common/lib/*.jar,/home/hadoop /share/hadoop/mapreduce/*.jar、/home/hadoop/share/hadoop/yarn/*.jar
• sqoop.properties:
  • @LOGDIR@ を /home/hadoop/sqoop/log に置き換えました
  • @BASEDIR@ を /home/hadoop/sqoop に置き換えました
  • プロパティ org.apache.sqoop.submission.engine.mapreduce.configuration.directory については、/etc/hadoop/conf/ を /home/hadoop/conf/ に置き換えました。
• そして、サーバーを起動しました: bin/sqoop.sh server start

エラーからわかる限り、問題の原因は次の行です。

このプロパティは mapred-site.xml で設定されます。

そして、これが私がしたいことです。

sqoop のインストール/構成でいくつかのパラメーター設定が不足しているように感じ、他のいくつかのことを試しました (AMI 3.0.4 / Hadoop 2.2.0 を試すなど) が、sqoop を開始できませんでしたサーバ。

ご参考までに。Kyle Mulka のブログ のこの投稿を読みましたが、Hadoop と sqoop の異なるバージョンを参照しており、構成に関する洞察を提供していないようです。また、このサイトの他のページもいくつか読みましたが、私が使用している Hadoop と sqoop のバージョンを参照しているページはまだ見つかりません。そして、この構成が Cloudera (sqoop2 および Hadoop 2 と yarn) で実行されているのを見てきましたが、それが EMR インストールにどのように変換されるかを理解することはできませんでした。

kerberos クラスターで sqoop を使用して、ハイブ/hdfs データを oracle にエクスポートしようとしましたが、ジョブを送信できませんでした。理由がわかりません。

次のエラーが表示されます。

HDFS システムにデータを移動する方法を探していましたが、Apache Sqoop を使用して外部 REST サービスからデータをプル/抽出できるかどうかを知りたいですか?

ユーザーIDとパスワードは正しいのですが、以下のエラーメッセージが表示されます。解決策があれば教えてください。------------------ SAP HANA - HIVE テーブル ------------------ 警告: /apps/opt/cloudera /parcels/CDH-5.2.0-1.cdh5.2.0.p0.36/bin/../lib/sqoop/../accumulo は存在しません! Accumulo のインポートは失敗します。$ACCUMULO_HOME を Accumulo インストールのルートに設定してください。15/01/20 10:30:15 INFO sqoop.Sqoop: Running Sqoop version: 1.4.5-cdh5.2.0 15/01/20 10:30:15 WARN tool.BaseSqoopTool: コマンドラインでパスワードを設定すると、安全でない。代わりに -P の使用を検討してください。15/01/20 10:30:15 INFO tool.BaseSqoopTool: 出力に Hive 固有の区切り記号を使用しています。15/01/20 10:30:15 INFO tool.BaseSqoopTool: delimiters with --fields-terminated-by などをオーバーライドできます。 15/01/20 10:30:15 INFO teradata.TeradataManagerFactory: バージョン 1.2c5 15/01/20 10:30:15 WARN sqoop.ConnFactory: パラメーター --driver が明示的なドライバーに設定されていますが、適切な接続マネージャーが設定されていません (経由で--接続マネージャー)。Sqoop は org.apache.sqoop.manager.GenericJdbcManager にフォールバックします。次回使用する接続マネージャーを明示的に指定してください。15/01/20 10:30:15 INFO manager.SqlManager: 1000 のデフォルト fetchSize を使用 15/01/20 10:30:15 INFO tool.CodeGenTool: コード生成の開始 sqoop.manager.GenericJdbcManager. 次回使用する接続マネージャーを明示的に指定してください。15/01/20 10:30:15 INFO manager.SqlManager: 1000 のデフォルト fetchSize を使用 15/01/20 10:30:15 INFO tool.CodeGenTool: コード生成の開始 sqoop.manager.GenericJdbcManager. 次回使用する接続マネージャーを明示的に指定してください。15/01/20 10:30:15 INFO manager.SqlManager: 1000 のデフォルト fetchSize を使用 15/01/20 10:30:15 INFO tool.CodeGenTool: コード生成の開始 15/01/20 10:30:16 エラー manager.SqlManager: ステートメントの実行中にエラーが発生しました: com.sap.db.jdbc.exceptions.JDBCDriverException: SAP DBTech JDBC: [414]: ユーザーはパスワードの変更を余儀なくされました: パスワードの変更が必要ですユーザー CH1HAHSGPOC com.sap.db.jdbc.exceptions.JDBCDriverException: SAP DBTech JDBC: [414]: ユーザーはパスワードの変更を余儀なくされています: com.sap.db.jdbc.exceptions.SQLExceptionSapDB.createException でユーザー CH1HAHSGPOC に必要なパスワードの変更 ( SQLExceptionSapDB.java:334) com.sap.db.jdbc.exceptions.SQLExceptionSapDB.generateDatabaseException(SQLExceptionSapDB.java:174) com.sap.db.jdbc.packet.ReplyPacket.buildExceptionChain(ReplyPacket.java:102)