問題タブ [sqoop]

HDFSにタブ区切りのテキストファイルがあり、これをMySQLテーブルにエクスポートしたいと思います。

テキストファイルの行には数値IDがないため、SQL INSERT（自動インクリメント）中にIDが自動的に設定されたテーブルにエクスポートするにはどうすればよいですか？

エクスポートしようとすると（idはテーブルで最後に定義された属性です）、次のようになります。

自動生成されたクラスを取得し、それを変更してid属性を除外すると、次のようになります。

ここで、パラメーター27は「id」です。

バージョンはSqoop1.3.0-cdh3u3です

私のユースケース：

EC2からSQOOPを介してHiveに大きなデータをインポートしたいと思います。Hiveにインポートされたデータは、いくつかのアルゴリズムを適用することによってHiveで処理され、いくつかの結果を生成します（テーブル形式、Hiveのみ）。また、生成された結果は、SQOOPのみを介してEc2に再度エクスポートされます。

私はアマゾンウェブサービスを初めて使用し、AWSEMRを使用してこのユースケースを実装したいと考えています。ローカルマシンに実装しました。

インスタンスを起動するためのAWSEMRに関連するリンク、EMRとは何か、動作方法などについて読んだことがあります。

私はEMRについて次のような疑問を持っています：

1）EMRは、入力データと出力データのHadoop処理（オブジェクトの形式）を保持するS3バケットを使用します。---> S3でオブジェクトの形式でデータを保存する方法を取得できませんでした（私のデータはファイルになります）

2）すでに述べたように、Javaでユースケースのタスクを実装しました。したがって、プログラムのJARを作成し、カスタムJARを使用してジョブフローを作成するとします。このように実装することは可能ですか、それともそのために何か特別なことをする必要がありますか？

3）ユースケースで述べたように、SQOOPを使用して結果をEc2にエクスポートし直したいと思います。EMRはSQOOPをサポートしていますか？

--編集パート4）また、SQL Serverのデータは毎日/毎週更新されるため、SQLServerから毎日/毎週データをインポートします。そのデータをS3にインポートして、Hiveに渡すとしたら、どうすればよいですか？（HiveはデータをHDFSの/ user / hive / Warehouseディレクトリに保存するため）。HDFSのS3および/user/ hive/warehouseディレクトリにリンクするにはどうすればよいですか。

できるだけ早くあなたの答えを私に返信してください。できるだけ早くこれをやりたいです。

どうもありがとう。

マップリデュースプログラムを使用してSqoopを呼び出そうとしています

実行すると、次のエラーが発生します

/tmpのアクセス許可とHDFSのサブディレクトリを777に設定しました

を使用してコマンドラインから同じコマンドを正常に呼び出すことができますsudo -u hdfs sqoop ...

これはClouderaのHadoop分散であり、私はhdfsユーザーとしてジョブを実行しています。

私はHadoopとそれに関連するもので何かを試しています。このために、Ubuntuマシンでhadoop、hase、hive、sqoopを構成しました。

すべてうまくいきますが、ハイブコマンドラインに入ってshowtablesを実行しても何もありません。これらのテーブルがHDFSで作成されていることがわかります。

Sqoopインポートでいくつかのオプションを見てきました-Hive/HDFS/HBaseにインポートできます。Hiveにインポートする場合、実際にはHDFSに直接インポートしています。では、なぜハイブなのか？

データを確認するためにHiveQLをどこで実行できますか。

cloudera Supportから、色相を確認できることがわかりました。しかし、HueはHiveへの単なるユーザーインターフェイスだと思います。

誰かがここで私を助けてくれませんか。

前もって感謝します、

ラグー

Sqoop を使用して多数の大きな MySQL テーブルを HDFS にインポートするときに、 --hive-import フラグを含めるのを忘れていました。これらのテーブルを HDFS に配置したので、(LOAD DATA ステートメントを自分で記述せずに) データを Hive にロードする簡単な方法があるかどうか疑問に思っています。

sqoop create-hive-table を使用してみました:

これにより正しいハイブ テーブルが作成されましたが、データはインポートされませんでした。ここで単純なものが欠けているような気がします...

記録として、Sqoop 1.4.1 で Elastic MapReduce を使用しています。

データストアをハイブテーブルに入れています。sqoopを使用してハイブテーブルで選択したデータをmysqlテーブルに転送したい。

これを行う方法を教えてください。

ClouderaSqoopを使用してOracleデータベースからHDFSにデータをフェッチしています。HDFSで®や©に変換されている®や©などの一部の文字を除いて、すべてが順調に進んでいます。（ただし、Oracleではデータは問題なく保存されます）。これらの文字をそのままHDFSに保存する方法はありますか？

Sqoopバージョン：1.3

ありがとう、Karthikeya

コマンドsqoopimportを使用してsqoopimportを使用してSQLからテーブルをインポートしました。Hiveからselectcount（*）を実行すると、行数は次のようになります。

231743

ただし、実際のSQLテーブルには231742行があります。

このテーブルに1行余分に追加されるのはなぜですか？

他の2つの同様のテーブルに大量のデータがあり、正確な数を取得しています。しかし、この特定のテーブルは私にハイブの余分な行を与えます。何故ですか？：-o

PS：sqoopimportコマンドに--hive-drop-import-delimsを含めました

前もって感謝します ：）

更新：テーブルに重複するエントリがあるようです。インポート中に生成されました。誰もが理由を知っていますか？:)

Sqoopを使用してVectorwiseからHiveにテーブルをインポートしようとしています。VectorwiseJDBCドライバーとすべてをダウンロードしました。それは機能していません。

これは私が使用しているコマンドです：sudo -u hdfs sqoop import --driver com.ingres.jdbc.IngresDriver --connect jdbc：ingres：//172.16.63.157：VW7 / amit --username ingres -password ingres-テーブルvector_table--hive-table= vector_table --hive-import --create-hive-table -m 1

そして、エラーが発生します：12/06/07 22:08:27エラーsqoop.Sqoop：Sqoopの実行中に例外が発生しました：java.lang.RuntimeException：dbドライバークラスをロードできませんでした：com.ingres.jdbc.IngresDriverjava。 lang.RuntimeException：dbドライバークラスを読み込めませんでした：com.cloudera.sqoop.manager.SqlManager.makeConnection（SqlManager.java:635）のcom.ingres.jdbc.IngresDriver at com.cloudera.sqoop.manager.GenericJdbcManager.getConnection（ GenericJdbcManager.java:53）at com.cloudera.sqoop.manager.SqlManager.execute（SqlManager.java:524）at com.cloudera.sqoop.manager.SqlManager.execute（SqlManager.java:547）at com.cloudera.sqoop .manager.SqlManager.getColumnTypesForRawQuery（SqlManager.java:191）at com.cloudera.sqoop.manager.SqlManager.getColumnTypes（SqlManager.java:175）at com.cloudera.sqoop.manager.ConnManager.getColumnTypes（ConnManager.java：263）com.cloudera.sqoop.orm.ClassWriter.getColumnTypes（ClassWriter.java:1226）at com.cloudera.sqoop.orm.ClassWriter.generate（ClassWriter.java:1051）at com.cloudera.sqoop.tool.CodeGenTool .generateORM（CodeGenTool.java:84）at com.cloudera.sqoop.tool.ImportTool.importTable（ImportTool.java:370）at com.cloudera.sqoop.tool.ImportTool.run（ImportTool.java:456）atcom。 cloudera.sqoop.Sqoop.run（Sqoop.java:146）at org.apache.hadoop.util.ToolRunner.run（ToolRunner.java:65）at com.cloudera.sqoop.Sqoop.runSqoop（Sqoop.java:182） com.cloudera.sqoop.Sqoop.runTool（Sqoop.java:221）at com.cloudera.sqoop.Sqoop.runTool（Sqoop.java:230）at com.cloudera.sqoop.Sqoop.main（Sqoop.java:239 ）。1051）com.cloudera.sqoop.tool.CodeGenTool.generateORM（CodeGenTool.java:84）at com.cloudera.sqoop.tool.ImportTool.importTable（ImportTool.java:370）at com.cloudera.sqoop.tool.ImportTool .run（ImportTool.java:456）at com.cloudera.sqoop.Sqoop.run（Sqoop.java:146）at org.apache.hadoop.util.ToolRunner.run（ToolRunner.java:65）atcom.cloudera。 sqoop.Sqoop.runSqoop（Sqoop.java:182）at com.cloudera.sqoop.Sqoop.runTool（Sqoop.java:221）at com.cloudera.sqoop.Sqoop.runTool（Sqoop.java:230）at com.cloudera .sqoop.Sqoop.main（Sqoop.java:239）1051）com.cloudera.sqoop.tool.CodeGenTool.generateORM（CodeGenTool.java:84）at com.cloudera.sqoop.tool.ImportTool.importTable（ImportTool.java:370）at com.cloudera.sqoop.tool.ImportTool .run（ImportTool.java:456）at com.cloudera.sqoop.Sqoop.run（Sqoop.java:146）at org.apache.hadoop.util.ToolRunner.run（ToolRunner.java:65）atcom.cloudera。 sqoop.Sqoop.runSqoop（Sqoop.java:182）at com.cloudera.sqoop.Sqoop.runTool（Sqoop.java:221）at com.cloudera.sqoop.Sqoop.runTool（Sqoop.java:230）at com.cloudera .sqoop.Sqoop.main（Sqoop.java:239）hadoop.util.ToolRunner.run（ToolRunner.java:65）at com.cloudera.sqoop.Sqoop.runSqoop（Sqoop.java:182）at com.cloudera.sqoop.Sqoop.runTool（Sqoop.java:221）at com .cloudera.sqoop.Sqoop.runTool（Sqoop.java:230）at com.cloudera.sqoop.Sqoop.main（Sqoop.java:239）hadoop.util.ToolRunner.run（ToolRunner.java:65）at com.cloudera.sqoop.Sqoop.runSqoop（Sqoop.java:182）at com.cloudera.sqoop.Sqoop.runTool（Sqoop.java:221）at com .cloudera.sqoop.Sqoop.runTool（Sqoop.java:230）at com.cloudera.sqoop.Sqoop.main（Sqoop.java:239）

誰かがここで私を助けてくれたら本当にありがたいです。

前もって感謝します！:)

Vectorwise2.0.2とSqoop1.4.1をインストールしています。

私が使おうとしているときsqoop-export：

操作がここでスタックします。エラーは表示されず、プロンプトも表示されません。

これに関連する助けをいただければ幸いです。