問題タブ [sqoop2]

RDBMS(Mysql) から HDFS にデータをインポートしようとしています。Sqoop のチュートリアルを読んだところ、役立つリンクがほとんど見つかりませんでした。 http://devslogics.blogspot.com/2013/09/sqoop-java-client.html?showComment=1399588094791#c7484088811270691337 上に貼り付けたリンクのコードを使用して、TEXT_FILE の HDFS にデータをインポートできます。デフォルトでは、Sqoop はコンマをデフォルトの区切り文字として使用します。これは私にはうまくいきません。今達成しようとしているのは、区切り文字/エスケープ文字をカスタマイズすることです。

また、次のコマンド sqoop import --connect jdbc:mysql://xxx.xx.xx:3306/sqoop --username xxx --password xxx --table students --enclosed- を実行することにより、シェルを介してこれを行うことができますby \" --escaped-by \"

sqoop-client Java API を介してこれを実装する方法についてのヘルプは大歓迎です。

前もって感謝します

Mysql から HDFS にデータをインポートする必要があります。このリンクが役に立ちました http://devslogics.blogspot.com/2013/09/sqoop-java-client.html?showComment=1399588094791#c7484088811270691337。新しい HDFS の場所を作成しようとしていますが、アクセスが拒否されたため、sqoop ジョブが失敗します。私の質問は: デフォルトのユーザーを変更できますか? ここで、デフォルトのユーザーは sqoop2 です。目的のユーザーに設定できますか? コールバック メソッドを使用してジョブを送信しています

ジョブの実行後にログで見つかったエラーは次のとおりです。

前もって感謝します

インポートまたはエクスポート中に 2 つ以上の列を組み合わせることができますか? では、どうすればそれを行うことができますか？

sqoop 1.4.2 バージョンを使用しています。sqoop メタストアをデフォルトの hsqldb から mysql に変更しようとしています。

sqoop-site.xml ファイルで次のプロパティを構成しました。

メタ接続 URL を使用して sqoop ジョブを作成しようとすると、構成された mysql db への接続に失敗します。

次の例外をスローしています。

sqoop 1.4.2 は hsql db 以外のメタストアをサポートしていますか?

提案してください。

im trying to export data from hive into an mssql server, i know that sqoop and the sql server are OK as I can export another table without issue.

The error that Im getting is:

14/06/19 14:48:37 INFO mapreduce.Job: Task Id : attempt_1403175168750_0031_m_000003_0, Status : FAILED Error: java.io.IOException: Can't export data, please check failed map task logs at org.apache.sqoop.mapreduce.TextExportMapper.map(TextExportMapper.java:112) at org.apache.sqoop.mapreduce.TextExportMapper.map(TextExportMapper.java:39) at org.apache.hadoop.mapreduce.Mapper.run(Mapper.java:145) at org.apache.sqoop.mapreduce.AutoProgressMapper.run(AutoProgressMapper.java:64) at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:764) at org.apache.hadoop.mapred.MapTask.run(MapTask.java:340) at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:168) at java.security.AccessController.doPrivileged(Native Method) at javax.security.auth.Subject.doAs(Subject.java:415) at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1548) at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:163) Caused by: java.lang.RuntimeException: Can't parse input data: 'You may be harboring secret illusions about how you want to li... More for Virgo http://t.co/Jnt91NMNt5' at StageFlumeTweets.__loadFromFields(StageFlumeTweets.java:236) at StageFlumeTweets.parse(StageFlumeTweets.java:174) at org.apache.sqoop.mapreduce.TextExportMapper.map(TextExportMapper.java:83) ... 10 more Caused by: java.lang.NumberFormatException: For input string: "You may be harboring secret illusions about how you want to li... More for Virgo http://t.co/Jnt91NMNt5" at java.lang.NumberFormatException.forInputString(NumberFormatException.java:65) at java.lang.Long.parseLong(Long.java:441) at java.lang.Long.valueOf(Long.java:540) at StageFlumeTweets.__loadFromFields(StageFlumeTweets.java:228) ... 12 more

The command im using to export the data is:

sqoop export --verbose --connect "jdbc:sqlserver://xx;database=xx;username=xx;password=xx" --export-dir /user/hive/warehouse/xx/twitter_bulk2/ --table StageFlumeTweets --input-fields-terminated-by ','

The file with the data in is just a tweetid and the text like so:

468751929271517185,RT @BestofScorpio: A woman may want you, but she doesnt need you. 468751929565130752,I'm gonna need to borrow someone's red lipstick for this

sqoop クライアントを使用しています。また、SqoopClient オブジェクトを初期化する必要がある URL がわかりません。すべてが事前構成されている horton Sandbox を実行しています。sqoopサーバーが実行されているかどうかはわかりません。そして、それが実行されている場合、私はポートを知りません。実行されていない場合、サンドボックスで実行するにはどうすればよいですか。

このページのチュートリアルを読んでいます: http://devslogics.blogspot.in/2013/09/sqoop-java-client.html

この 2 行は、url で初期化するための焦点です。

ここに私の完全なコードがあります -

Sanbox 2.1 と Microsoft SQL Server (AdventureWorks データベース) を使用して増分インポートを実行しようとしています。増分インポートの場合、次のコマンドを使用しています。

以下のエラー メッセージでわかるように、select ステートメント「SELECT MAX([SalesLT].[ProductModelID]) FROM ProductModel」が正しく構築されていません。

テーブル名なしでスキーマ名が列に追加され、FROM 句のテーブル名にスキーマ名がありません…</p>

どんな助けでも大歓迎です。

ありがとうございました！

PS。テーブル全体のインポートは正常に機能しています。

Hadoop 2.2 バージョンをインストールしましたが、apache-sqoop を試してみたいと思っています。

どのsqoopバージョンを使用するか教えてもらえますか? インストールと使用方法については、公式の入門ガイドもお送りください。

ありがとう。

SQOOP で以下のスニペットを実行したところ、コードの下にリストされたエラーが発生しました。

bin/sqoop job --create myjob import --connect jdbc:mysql://localhost/test -username root -password root --table Patient -m 1 --target-dir /Sqoop/MRJob

administrator@ubuntu:~/sqoop-1.4.4.bin__hadoop-1.0.0$ bin/sqoop job --create myjob import --connect jdbc:mysql://localhost/test -username root -password root --table patient - m 1 --target-dir /Sqoop/MRJob 警告: /usr/lib/hcatalog が存在しません! HCatalog ジョブは失敗します。$HCAT_HOME を HCatalog インストールのルートに設定してください。警告: $HADOOP_HOME は非推奨です。

14/07/16 23:23:36 エラー tool.BaseSqoopTool: ジョブの引数の解析エラー: 14/07/16 23:23:36 エラー tool.BaseSqoopTool: 認識されない引数: インポート 14/07/16 23:23:36エラー tool.BaseSqoopTool: 認識できない引数: --connect 14/07/16 23:23:36 エラー tool.BaseSqoopTool: 認識できない引数: jdbc:mysql://localhost/test 14/07/16 23:23:36 エラー ツール.BaseSqoopTool: 認識できない引数: -username 14/07/16 23:23:36 エラー tool.BaseSqoopTool: 認識できない引数: root 14/07/16 23:23:36 エラー tool.BaseSqoopTool: 認識できない引数: -password 14/07 /16 23:23:36 エラー tool.BaseSqoopTool: 認識できない引数: root 14/07/16 23:23:36 エラー tool.BaseSqoopTool: 認識できない引数: --table 14/07/16 23:23:36 エラー ツールBaseSqoopTool: 認識できない引数: 患者 14/07/16 23:23:36 エラー tool.BaseSqoopTool: 認識できない引数:-m 14/07/16 23:23:36 エラー tool.BaseSqoopTool: 認識できない引数: 1 14/07/16 23:23:36 エラー tool.BaseSqoopTool: 認識できない引数: --target-dir 14/07/16 23 :23:36 エラー tool.BaseSqoopTool: 認識されない引数: /Sqoop/MRJob

使用方法については、 --help を試してください。使用法: sqoop ジョブ [GENERIC-ARGS] [JOB-ARGS] [-- [] [TOOL-ARGS]]

ジョブ管理の引数: --create 新しい保存されたジョブを作成する --delete 保存されたジョブを削除する --exec 保存されたジョブを実行する --help
使用手順を印刷する --list 保存されたジョブを一覧表示する --meta-connect メタストアの JDBC 接続文字列を指定する--show 保存されたジョブのパラメーターを表示します --verbose
作業中に詳細情報を出力します

汎用の Hadoop コマンドライン引数: (ツール固有の引数の前に置く必要があります) サポートされる汎用オプションは次のとおりです。 -conf アプリケーション構成ファイルを指定します。 -D 指定されたプロパティの値を使用します。 map reduce cluster にコピーするファイル -libjars クラスパスに含めるカンマ区切りの jar ファイルを指定します。-archives は、コンピューティング マシンでアーカイブ解除するカンマ区切りのアーカイブを指定します。

一般的なコマンド ライン構文は bin/hadoop command [genericOptions] [commandOptions] です。

誰かがこれについて私を助けることができますか??

ご協力いただきありがとうございます。

注: 私の SQL 関連の辞書は完璧です。よろしく