問題タブ [sqoop]

Hive と Teradata の間でデータを同期するためのアプリケーションを開発しています。このために、組み込みモードで sqoop を使用しています。つまり、クラスパスに jar として sqoop を追加し、Sqoop.runTool(..) を使用して操作を実行しています。

ただし、Eclipseでは非推奨としてマークされています。バージョン 1.4.2 を使用していますが、これに関する情報は見つかりませんでした。

とにかく私は現在それを使用していますが、なぜそれが廃止されたのか、それに対して何ができるのかについて誰かが情報を提供できればより良いでしょう?

からデータをインポートしてからSQL ServerをHDFS使用する際に問題が発生してSQOOPいます。私はWindowsプラットフォームで作業していてHDInsights、自分のマシンにインストールしました。

これはエラーです。

ヘルプが必要です。ありがとう

上の aster データ nCluster への接続に問題がありClouderaますか?

を使用することは可能sqoopですか?

Sqoop は、リレーショナル データベース (Oracle DB など) と Hadoop の間でデータをコピーするのに役立ちます。

しかし、データを Zebra 形式で保存するにはどうすればよいでしょうか?

ありがとうございました。

私はJavaプログラムを開発しています。

Java プログラムは、ハイブから mysql にデータをエクスポートします。

まず、コードを書きます

それは完全に機能します。

しかし、Java で sqoop を使用する新しい方法を学びました。

Sqoop はまだクライアント API をサポートしていません。

だから私はsqoop libを追加し、Sqoop.run()を書くだけです

次に、新しい方法でコードを書き直します。

しかし、それは実行されません。

エラーが出ました……

私が見た$SQOOP_CONF_DIR has not been set in the environment.

だから私は追加しました

SQOOP_CONF_DIR=/home/yoonhok/development/sqoop-1.4.2.bin__hadoop-1.0.0/conf

の中に

/etc/環境

もう一度やり直しますが、エラー...

Export-dir が問題だと思います。

「/user/hive/warehouse/tbl_2」を使用しています。

そして、「hadoop fs -ls /user/hive/warehouse/」を実行すると、テーブル「tbl_2」が存在します。

と思います

「入力パスが存在しません:ファイル:/user/hive/warehouse/tbl_2」は問題ありません。

「入力パスが存在しません: hdfs :/user/hive/warehouse/tbl_2」は問題ありません。

しかし、どうすれば修正できるかわかりません。

わかりました、ヒントを得る直前に。

そして、 「export-dir」を編集しました

でも…エラーです…TT

hdfsを確認したところ、

また

ファイルが存在します。

-rw-r--r-- 1 yoonhok スーパーグループ 14029022 2013-02-15 12:16 /user/hive/warehouse/tbl_2/000000_0

ターミナルのシェルコマンドで試します

仕事です。

問題は何ですか？

知らない。

私たちを手伝ってくれますか？

X 分ごとに実行される Oozie ワークフローがあります。HBase テーブルから値を読み取ります。この後、前のステップで HBase から読み取った値に基づいて Sqoop アクションが (増分的に) 実行されます。ワークフローを機能させるには、Sqoop Oozie アクションから新しい --last-value をキャプチャして HBase に書き戻す必要があり、次にワークフローを実行して再度読み取る必要があります。

どうすればこれを行うことができますか、またはより良い方法がありますか?

ジョナス

Sqoop2はHadoop0.20.2で動作しますか？

どのバージョンのsqoopをダウンロードするのが最適ですか？

1.4.2または1.99.1？

ありがとう！）

Hadoop 1.0.4 とハイブ 0.9.0 を使用していますが、設定できる Sqoop のバージョンを教えてください。

新しい Java プロジェクトを作成し、ライブラリ Sqoop と Hadoop を追加しました。(ライブラリは「hadoop-core-1.1.1.jar、sqoop-1.4.2.jar など....」です。)

次に、以下のコードを試しました：

ターミナルで試してみるとうまくいくので、パラメータは正しいです。

しかし、うまくいきませんでした。エラーメッセージは次のとおりです。

HDFS を確認すると、ファイルが存在します。

Java プログラムで Sqoop を実行するにはどうすればよいですか?

Processbuilder と Process を試しましたが、使いたくありません。

Sqoop API をどうしても使いたいのですが、まだ存在しないと聞きました。

この質問を読みましたが、うまくいきません。

env：sqoop-1.4.2 hadoop-1.0.4 hive-0.9.0

import cmd：./bin/sqoop import --connect jdbc：mysql：// localhost /metrics --username root -password 1023 --table Visit --hive-import --create-hive-table --hive-table hivevisit2 --hive-home / home / hadoop / hive /

ファイルはhdfsに存在します：1つのアイテムが見つかりましたdrwxr-xr-x --hadoop supergroup 0 2013-02-19 10:36 / user / hive / Warehouse / hivevisit2

ただし、ハイブにテーブルを表示します。テーブルhivevisit2は存在しません。

exe cmd "sqoop -hive-import"の場合、テーブルは自動的に作成されるようですが、なぜテーブルが表示されないのですか？

cmd"./bin/sqoop import --connect jdbc：mysql：// localhost /metrics --username root -password 1023 --tableVisit--hive-import--create-hive-table-を再実行した場合hive-table hivevisit2 --hive-home / home / hadoop / hive / "

エラーは「メタデータのエラー：AlreadyExistsException（メッセージ：テーブルhivevisit2はすでに存在します）」を示しています

ハイブのインポート中にテーブルを自動作成する方法を教えてもらえますか