問題タブ [sqoop]

現在、Cloudera CDH4 VM を使用しています。

すべてが機能しているようです。以下は私の出力です。インポートは成功したと主張しますが、レコードは書き込まれません。インポートからの出力を添付しました。[

Hiveで生成されたテーブルがあります（Amazon Elastic MapReduce JobFlow上）。データがにあることがわかりますhdfs:///mnt/hive_081/warehouse/[table name]。

Sqoopを（何も変更せずに）jarにラップし、テストのためにマスターノードにアップロードしました。

私は自分のsqoopjarをそのように実行します：

ここで、$ ARGSは（機密のmysqlフラグは省略されています）：

私はこれをモックアップした10行のデータでテストしています。null値はありません。各行は、すべての列で同じ番号を繰り返すという点で一意です。コマンドを実行すると、多くの情報が得られます

毎回、同じ4行（10行のうち）に対してこのメ​​ッセージが表示されます（負の値は無視してください。これらは、数値に適合しなかったTINYINTの列です）。

行の最初の2つの値の間のスペースがはるかに少ないことがわかります。これは私の問題ですか？これは何が原因でしょうか？参考までに、データファイルをHDFSからローカルFSにコピーしてポイントすると、このメッセージは表示されませんが、データは宛先に到達しませんでした：/。とにかく、私はマルチステッププロセスを自動化しようとしているので、何もコピーせずにHDFSデータを直接操作できるようにしたいと思います。

どんなアドバイスも大歓迎です！

更新：これは、区切り文字としてコンマを使用した場合にも発生します。同じ4行で観察されます。Hiveテーブルを1行のみに制限すると（以前のテストのエラー行の1つではない）、同じエラーが発生します。

Sqoop を使用して、MySQL から HDFS への増分インポートを正常に実行できます。

次のようなログメッセージで終了します

ジョブを調べると、incremental.last.value が正しく更新されていることがわかります。

同じ手順を試みて、ジョブの定義に「--hive-import」を追加すると、ジョブは正常に実行されますが、incremental.last.value は更新されません。

これはバグですか？意図した動作？MySQL からデータを段階的にインポートし、Hive 経由で利用できるようにする手順を知っている人はいますか?

私は基本的に、Hadoop クラスターを MySQL データベースの読み取りスレーブにして、高速分析を行いたいと考えています。Hive 以外の解決策がある場合 (Pig で問題ありません)、それも聞きたいです。

Sqoopを使用してMicrosoftSQLServerに接続しようとしています。SqoopコネクタとJDBCドライバーの手順に従って、MicrosoftからJDBCドライバーをインストールしました。次に、サーバー上のデータベースを一覧表示しようとします。次のコマンドを試しました。

これらの各コマンドは、同じエラーメッセージを生成します。

Microsoft SQL Server Management Studioを使用してデータベースに接続し、データベースが動作していること、およびホスト/ユーザー名/パスワードがすべて正しいことを確認しました。さらに、ポートが開いていることと、MSSQLが反対側にあることを確認しました。

ここからどこに行けばいいのか、何か提案はありますか？このエラーに関するドキュメントは見つかりませんでした。ありがとう

現在、FreeTDSのOSQLを使用してSQLサーバーに到達できることを確認しようとしています。私の調査結果でこの投稿を更新します。

Sqoop は、異なるホストにある多数の異なる Mysql データベースと並行して接続できますか?

oraoop で scoop を使用して、Oracle Express エディション 11g R2 から Hadoop にデータをインポートしようとしています。

CDH sqoop をインストールし、既に実行中の Apache Hadoop を統合しようとしました。

oraoop が正しく使用されていることがわかりましたが、インポート時に次の問題に直面しています。Apache Hadoop で Apache sqoop も試してみましたが、それでも次の問題に直面しました。Web 検索では、Apache Hadoop の代わりに CDH Hadoop も使用することが提案されました。

**

スレッド「メイン」で例外 java.lang.IncompatibleClassChangeError: クラス org.apache.hadoop.mapreduce.JobContext が見つかりましたが、com.quest の com.quest.oraoop.OraOopDataDrivenDBInputFormat.getDesiredNumberOfMappers(OraOopDataDrivenDBInputFormat.java:201) でインターフェイスが予期されていました。 oraoop.OraOopDataDrivenDBInputFormat.getSplits(OraOopDataDrivenDBInputFormat.java:51)

**

要約する、

CDH sqoop + Apache Hadoop - 上記でデータのインポートに失敗しました

exception Apache Sqoop + Apache hadoop - 上記の例外でデータのインポートに失敗しました

CDH Sqoop + CDH Hadoop - これは正しい組み合わせですか?

助言がありますか？正しい方向に進んでいるかどうかはわかりません。助けてください。

私の構成:

• CouchBase サーバー 2.0
• Sqoop 1.4.2 (hadoop バージョン 2.0.0 用にコンパイル)
• スタック Hadoop CDH4.1.2

CouchBase/Hadoop コネクタ ( http://www.couchbase.com/develop/connectors/hadoop )を使用したいのですが、インポートを開始すると次のエラーが発生します。

このコネクタを同じ構成で使用して、機能させることに成功した人はいますか?

助けてくれてありがとう！

マドレーヌ

多数のスキーマ、マスター スキーマ、および多数の子スキーマを含む Oracle データベースがあります。私のマスター スキーマには、任意の子のテーブルを作成/破棄/アクセスできる権限があります。

私の質問は、マスター スキーマで Sqoop のリスト テーブルを実行していて、すべての子テーブルが結果に含まれているのを見ているということです。

それらのテーブルがどのスキーマに属しているかを区別する方法はありますか? 重複する名前がいくつかあり、現時点ではどのテーブルがどこにあるのかわかりません。

mj

sqoop を介して oracle db のいくつかのテーブルをハイブにインポートしました。コマンドは次のようになります。

埋め込みメタストアを使用しています（少なくともそう思います。その点でデフォルトのconfを変更していません）。HIVE で SHOW TABLES を実行すると、インポートされたテーブルは表示されませんが、コマンド ラインを介してテスト用に作成したいくつかのテーブルは表示されます。テーブルはすべて hdfs の同じウェアハウス ディレクトリにあります。sqoop インポートが同じメタストアを使用していないようです。

しかし、それはどこですか？また、コマンドラインを使用してクエリを実行するときに、どのように切り替えることができますか?

ありがとう

HDFSからCouchbaseにデータをエクスポートしようとしていますが、ファイル形式に問題があります。

私の構成：

• Couchbaseサーバー2.0
• スタックhadoopcdh4.1.2
• sqoop 1.4.2（hadoop2.0.0でコンパイル）
• couchbase / hadoopコネクタ（hadoop2.0.0でコンパイル）

exportコマンドを実行すると、次のような形式のファイルを簡単にエクスポートできます。

また

また

しかし、Jsonオブジェクトを適用したい場合、それは機能しません！

コンテンツが正しいJSONではないため、コンテンツは最初のコンマで切り捨てられ、base64でcouchbaseによって表示されます...

だから、私の質問は、ファイルをjsonドキュメントとして保存するためにどのようにフォーマットする必要があるかということです。

キー/値ファイルのみをエクスポートできますか？

cbdocloaderがローカルファイルシステムからのファイルでそれを行うように、HDFSからjsonファイルをエクスポートしたい...