問題タブ [sqoop2]

今日、mysqoop サーバーを再起動したところ、すべてのジョブとリンクがなくなったようです。Sqoop は derby データベースで動作しています:

org.apache.sqoop.repository.jdbc.url=jdbc:derby:@BASEDIR@/repository/db;create=true

それらを元に戻す方法についての手がかりはありますか？

biginsights で sqoop ジョブを実行しようとしています。Oracle db から hdfs にデータをインポートしています。以下は、マッパーの実行を開始し、しばらくして停止する sqoop コマンドです。

以下はエラーです：

この問題を解決するために私を助けてください。前もって感謝します。

MySQL テーブルから HDFS にデータをインポートしたいと考えています。すべての設定が完了し、sqoop-shell でデータをコピーする単純なジョブを作成できます。ただし、毎回新しいレコードのみをコピーしたいのですが、これを達成する方法がわかりません。ジョブを作成すると、「チェック列」という名前のパラメーターがあり、そこに適していると思われる ID や eventTimestamp などの列があります。ただし、その場合は「最後の値」も入力する必要があります。この最後の値を自分で管理し、毎回新しい「最後の値」で新しいジョブを作成する必要がありますか? このような場合、一度だけ使用されてから再作成する必要があるのに、なぜジョブを作成するのでしょうか? 毎回新しい「最後の値」を保存し、新しいレコードのみをインポートすることで、Sqoop がこれを管理することはできませんか? さらに、「last value": "入力のサイズが、この入力フィールドの許容範囲を超えています。最大許容サイズは -1"?

問題の説明: データを sqoop しようとしましたが、sqoop はエラーなしでゼロ レコードを返します。しかし、特定の制限を使用してレコードを取得しようとすると、 data が取得されますが、より大きな制限でさらに処理を進めると、レコードは取得されません。

sqoop import --connect abc.com --table test --validate

上記の import 文を実行すると、

sqoop import --validate は行数の検証結果をどこに記録しますか?

ログフォルダに?

Cloudera CDH QuickStart VM 5.5 をインストールし、Oozie ワークフローで Sqoop アクションを実行しています。MySQL JDBC ドライバーが見つからないというエラーが発生し、パスの下の Oozie の HDFS 共有 lib パスに mysql-connector-java.jar を配置する必要があるというsqoopSO の回答を見つけました。

しかし、Oozie の HDFS 共有ライブラリ パスを参照するとsqoop、jar をコピーするための 2 つのサブディレクトリがあることに気付きました。

と

sqoop、hive、pig、以外にもdistcp、 との両方にmapreduce-streamingパスが存在します。liblib/lib_20151118030154

問題は、コネクタ jar をどこに配置すればよいかということです。

、、、およびOozieの jar に関してsqoop、これら 2 つのパスの違い (または目的の違い) は何ですか?hivepigdistcpmapreduce-streaming

Cloudera Quickstart VM CDH 5.5.0 を使用しており、Maven プロジェクトで Sqoop のカスタム Java コードを実行しようとしています。ただし、Maven の依存関係の 2 つのバージョンについては少し混乱しています。

Sqoop のドキュメントを掘り下げてみると、 v1.99.x は Sqoop2 に関連しているようです。Clouderaによると、Sqoop2 の使用はまだ推奨されていません。

さらに、v1.99.x 依存関係を使用している場合にのみ jar を取得できますが、v1.4.x では取得できません。

では、Sqoop プログラミングを行う場合、どちらを使用すればよいでしょうか? 2 つのバージョンの違いは何ですか?