問題タブ [sqoop2]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
hadoop - Hue の空白ページ Sqoop、「エラー: コネクタを取得できませんでした」
Hue で sqoop を使用しようとしていますが、エラーが発生します:
Sqoop エラー: コネクタを取得できませんでした。
ページにスクープウィザードはありません。しかし、(sqoop2 ではなく) sqoop シェルを使用して Oracle からデータをインポートできました。
私の質問は次のとおりです。
oracle jdbc driver を配置する以外に設定するものはありますか? (/opt/cloudera/parcels/CDH-5.5.0-1.cdh5.5.0.p0.8/lib/sqoop2/client-lib/ 内)
ユーザー sqoop2 に許可する必要があるディレクトリは? ( /var/lib/sqoop を除く)
注：この投稿を読んだ後もまだ手掛かりがありませんhttps://community.cloudera.com/t5/Web-UI-Hue-Beeswax/Blank-Sqoop-page-in-Hue-2-5-0/td-p /2581
env : Hue 3.9 / Sqoop2 / CDH 5.5.0 / CM 5.5.0 / LDAP、Kerberos & Sentry インストール済み
sqoop - vertica からの sqoop のインポートに失敗しました
sqoop2 を使用して Vertica から HDFS にデータセットをインポートしようとしています。
Vertica v6.0.1-7 から hdfs にデータをインポートするために、sqoop マシンで次のクエリを実行しています。
しかし、ここでエラーが発生します。
両方のマシンで異なるユーザー名を考慮して、誰でもこれを行う方法を知っています。
hadoop - Vertica v6.0.1-7 からの Sqoop2 インポート
Vertica データを Hadoop/Hive/Impala にインポートしようとしています。私は Vertica v6.0.1-7 & CDH 5.4 です。CM から Sqoop 1.99.5-cdh5.4.0 (sqoop2) をインストールしました。
次のコマンドを使用してリンクを作成しようとしました
この後、Enter キーを押すと、ここで動かなくなり、最初からやり直します。
sqoop2 を使用してこのインポートを作成する方法を教えてください。
また、sqoop1 のように 1 つのコマンド ラインでこのインポートを実行できるかどうかは誰にもわかりません。
ありがとう
oracle - Oracle から Hadoop へのデータの抽出。Sqoopは良いアイデアですか
Oracle データベースからデータを抽出し、それをリモートの HDFS ファイル システムに転送しようとしています。これを達成するには、いくつかの方法があるようです。
- Sqoop を使用します。このツールはデータを抽出し、ネットワーク経由でコピーして HDFS に直接保存します
- SQL を使用してデータを読み取り、ローカル ファイル システムに保存します。これが完了したら、Hadoop システムにデータをコピー (ftp?) します。
私の質問は、最初の方法 (私にとっては作業が少ない) によって、Oracle が必要以上に長くテーブルをロックする原因になりますか?
私の懸念は、Sqoop がデータのクエリを開始するときにデータベースのロックを解除する可能性があり、このロックはすべてのデータが HDFS にコピーされるまで解放されないということです。大量のデータを抽出してリモートの場所にコピーするため (そのためネットワークの遅延が大きくなります)、ロックは必要以上に長く残ります。
java - Sqoop Import Java クライアント
オラクルデータを HDFS にインポートするために、sqoop importer Java クラスを実行しました。しかし、Imはエラーになりますjava.lang.ClassCastException: java.lang.Integer cannot be cast to java.math.BigDecimal。なぜこれが起こるのか、そして解決策は何なのか知っている人はいますか?
hadoop - sqoopで改行文字を持つ列を持つテーブルをハイブにインポートする方法は?
新しい行文字を含むjsonデータを格納する列を持つsqoopを使用して、mysqlテーブルをハイブインポートしようとしています。ハイブのデフォルト区切り文字を処理するために、sqoop の --lines-terminated-by '\u002' オプションを使用して行区切り文字を変更しようとしました。Sqoop は --lines-terminated-by が '\n' のみを取るというエラーを出しました。--hive-drop-import-delim オプションを使用すると、改行文字を削除してデータをインポートできます。データをそのままハイブにテキスト ファイルとしてインポートする方法はありますか?
mysql - sqoopインポートクエリエラー「オペランドには1列を含める必要があります」
次の sqoop コマンドを使用して、MySQL データベースから Impala にデータをプルしようとしています。
私が得ているエラーは
SqlManagerその前にWHERE (1 = 0)、Executing SQL statement