問題タブ [sqoop]

以下のエラーを解決してください。Oracle でチェックインすると正常に動作しますが、SQOOP インポートを試行すると失敗します。

バージョン: Hadoop 0.20.2-cdh3u4 および Sqoop 1.3.0-cdh3u5

エラー：

12/10/10 09:33:21 エラー manager.SqlManager: ステートメントの実行中にエラーが発生しました: java.sql.SQLSyntaxErrorException: ORA-00904: "YYYYMMDD": 無効な識別子

に続く....

12/10/10 09:33:21 エラー sqoop.Sqoop: Sqoop の実行中に例外が発生しました: java.lang.NullPointerException

ありがとうございます。それでは、お元気で、

タミル語

I get the following error when I connect to mysql on one cluster (aaaaaa1) and sqooop on a different server (aaaaaa2), despite creating a table in mySql with full permissions granted to the other cluster.

Please help me to determine what is the cause of this issue. Thanks!

hbase-0.90.6 を使用しています。HBase から mysql にデータをエクスポートしたいと考えています。最初にmapreduceジョブを実行してHbaseデータをフラットファイルにプルし、次にフラットファイルデータをmysqlにエクスポートするという2段階のプロセスを知っています。

この2つのステップを1つに減らすために使用できる他のツールはありますか? または、sqoop を使用して同じことを 1 ステップで行うこともできます。ありがとう。

Cloudera CDH4.1のSQOOPを使用して、単純な2列のSQLServerデータをHIVEに正常にインポートしました。--id（int）--description（varchar（50））

同じHIVEテーブルを取得してSQLServerに戻ろうとすると、2つの列がひとまとめになり、NumberFormatExceptionが発生します。

--fields-terminated by \ t --lines-terminated-by \ nを試しましたが、違いはありません。

Clouderaによって提供されたsample_08Hiveテーブルもエクスポートしようとしましたが、NoSuchElement例外が発生します。どの要素が存在しないと思うかについての手がかりが得られることを願っています！

テーブルの構造とフィールド名が、大文字と小文字とアンダースコアを含めて、両方で同じであることを確認しました。

単一列のテーブルをエクスポートできますが、問題を解決する方法については絶対に困惑しています。

どんな助けでもありがたいことに受けられるでしょう。

分割するキーにエイリアスを持つ自由形式のクエリを実行して、MsSQLからHBaseにデータをインポートしたいと思います。たとえば、私のクエリは次のとおりです。

そして、このエイリアスフィールドで作業単位を分割したいと思います。したがって、sqoopクエリには--split-by 'xyz'オプションがあります。しかし、これは機能しません。私は得る：

では、このエイリアスされた選択フィールドでsqoopを機能させるにはどうすればよいですか？

ウィキペディアのダンプ（mysqlテーブル、解凍されたファイルは約50GBかかります）をHadoop（hbase）にインポートする必要があります。まず、ダンプをmysqlにロードしてから、データをmysqlからhadoopに転送します。ただし、データをmysqlにロードするには、約4〜7日という膨大な時間がかかります。mysqlダンプをhadoopに直接ロードすることは可能ですか（ダンプファイルパーサーなどを使用して）？

自分のマシンにsqoopをインストールしようとしています。ここからtarファイルをダウンロードしました。

ここを見てインストールしようとしています

したがって、以下のコマンドを試してみると、以下のようなエラーが発生します

エラー

上記のコマンドの何が問題になっていますか？

誰かがsqoopをインストールする最も簡単な方法を教えてもらえますか？

実際、1GB xml処理してMYSQLデータベースに保存する必要のあるファイルがありました。これを行うためにPythonでhadoopを使用しましたが、hrs処理と保存に時間がかかるため、sqoopを使用してxmlファイルを処理し、データを保存することにしました。データベースへ

また、sqoopを操作するための基本的で簡単なチュートリアルを教えてください

また、私はsqoopの初心者なので、xmlファイルを処理してデータベースにデータを保存する基本的なコードを教えてください。

AS / 400サーバー上のdb2からHadoopファイルシステムにデータ/テーブルを取得するにはどうすればよいですか？AS / 400サーバーとHadoopファイルシステム間の接続をどのように確立しますか？

SQOOPを使用して、MySQLサーバーデータからHadoopファイルシステムにデータ/テーブルを取得できることを知っています。

スクープ 1.3 の使用

hdfs出力をmysqlテーブルにエクスポートしようとしています

サイズが 300MB を超える非圧縮ファイルをロードしている間、すべてが期待どおりに機能します。

しかし、サイズが 75 MB または 79 MB の圧縮ファイル (.gz および .lzo) をロードすると、テーブルにロードされる行が 2 倍になります。これは、圧縮ファイルのサイズが 60MB 以下の場合には発生しません (64 MB に関連するもの、ブロック サイズを推測します)。上記のコンテキストで行ったいくつかの操作: