0

mysql からハイブにテーブルをインポートしています。テーブルには2115584行があります。インポート中に私が見る

13/03/20 18:34:31 INFO mapreduce.ImportJobBase: Retrieved 2115584 records.

しかしcount(*)、インポートしたテーブルで a を実行すると、行があることがわかり49262250ます。何が起こっている？

更新: が指定されている場合、インポートは正しく機能し--directます。

4

1 に答える 1

6

理解した。sqoopユーザーマニュアルから：

データベースの行に、Hiveのデフォルトの行区切り文字（\nおよび\r文字）または列区切り文字（\ 01文字）が含まれる文字列フィールドが含まれている場合、HiveはSqoopでインポートされたデータの使用で問題が発生します。--hive-drop-import-delimsオプションを使用して、インポート時にこれらの文字を削除し、Hive互換のテキストデータを提供できます。

指定--hive-drop-import-delimsしたところ、動作します。

于 2013-03-20T19:25:00.840 に答える