問題タブ [sqoop]

sqoop から " --hive import " コマンドを使用して、テーブルを自動的に作成し、データをハイブにロードして、Hadoop で mysql から Hive にデータベースをインポートしようとしています。

以下のコマンドを使用して、sqoopでインポートを実行します

このコマンドを実行すると：

sqoop コマンドの何が問題になっていますか? または sqoop または hive に他の構成がありますか?

お願い助けて

コマンドを入力すると：

このコマンドを実行すると：

sqoop コマンドの何が問題になっていますか?

解決策をお願いします:)ありがとう

これを解決しようとしましたが、これを行うとクレイジーなエラーが発生しますか?

ここに私の最初の方法があります --> SQLQUERY を保持します

次に、データを取得できる一般的な Web メソッドをセットアップしようとしました。

私が得るエラーはこれですか？面白いことに、昨日は思い通りにできたと思います。

mysqからlにデータをエクスポートしようとしhdfsていsqoopます。シェルを介して sqoop を実行でき、正常に動作しています。しかし、私が呼び出しているときoozie。次のエラーが発生し、失敗します。瓶も入れました。説明的なログはありません

スクープスクリプト:

エラー：

sqoopクエリは、mapreduceで各行の列データにアクセスするためのコードを含むクラスを含むJavaファイルを生成します。（Sqoopのインポートは、-as-sequencefileオプションを使用せず、レコードごとに1行、列の間にコンマを使用してテキストで実行されました）しかし、実際にどのように使用するのでしょうか。

このクラスで、Textを入力として受け取り、クラスのすべてのメンバーにデータを入力するパブリックメソッドparse（）を見つけたので、練習するために、wordcountアプリケーションを変更して、マッパーのTextInputFormatからのテキスト行を次のインスタンスに変換しました。 sqoopによって生成されたクラス。ただし、parse（）メソッドを呼び出すと、「報告されていないexception.com.cloudera.sqoop.lib.RecordParser.ParseError;キャッチするか、スローするように宣言する必要があります」という原因になります。

この方法で実行できますか、それとも各レコードのデータをクラスに入力するためにカスタムInputFormatが必要ですか？

私のPIGクエリは以下のとおりです

以下は、上記の豚のクエリの段階的な説明です。

1. タブ区切りの HDFS ファイルから 100097 レコードをロードします。
2. 会社別、雇用状況別のレコードでグループ化
3. EmployeeID でレコードをカウントします。
4. 出力をダンプします。

上記のクエリを実行した後、Pig シェルは、100115 レコードを正常に読み取ったと述べています。

Pig クエリが正常に実行された後、次の 3 つの問題が発生します。

1. pig が HDFS で利用可能なよりも多くのレコードを準備できる理由 (100115>100097)
2. 「ACCESSING_NON_EXISTENT_FIELD 27 TIMES」という警告メッセージが表示される理由
3. MySQL で同じグループ クエリを実行すると、結果のカウント差は 9 になります。

できるだけ早く私の問題を解決してください。私の豚、hadoop プロジェクトは、あなたの迅速な対応にかかっています。上記の問題により、過去 5 日間から影響を受けています

現在、Hadoop 1.0.3 で Ubuntu 12.04 を使用しています。最近、手動で sqoop をダウンロードし、/etc/environment にパスを指定しました。しかし、私の端末は「sqoop：コマンドが見つかりません」と言っています。誰でも何か考えがありますか？

コマンドを渡すと：

$sqoop create-hive-table --connect 'jdbc:sqlserver://10.100.0.18:1433;username=cloud;password=cloud123;database=hadoop' --table cluster

いくつかのエラーと警告が表示され、最後に「データベース '/var/lib/hive/metastore/metastore_db' を起動できませんでした。詳細については次の例外を参照してください [再びインポート エラーのリストが表示されます]」と表示されます。

最後に、ハイブが satus 9 で終了したと表示されます

ここで何が問題なのですか？私はスクープとハイブが初めてです。誰か助けてください。

私はhadoop、hive、sqoopをインストールしました。データベースからhdfsにテーブルをインポートしましたが、ハイブにインポートできませんでした。ハイブでファイルを構成する必要がありますか？また、Webを参照すると、MySQLの構成が表示されますが、ドライバーjdbc：sqlserverを使用しています。私は何日もこれで立ち往生しているので、誰かが私を助けてください。

単一ノードのhadoopクラスターをセットアップし、apache Hiveで動作するように構成しました。次のコマンドを使用して（sqoopを使用して）mysqlテーブルをインポートしたとき

sqoop import --connect jdbc：mysql：// localhost / dwhadoop --tableorders --username root --password 123456 --hive-import

それは私がするときにその後スローされるいくつかの例外を除いて正常に実行されます

ordersテーブルは表示されません

importコマンドを再度実行すると、ordersdirがすでに存在するというエラーが表示されます。

解決策を見つけるのを手伝ってください

編集：

orderインポート前にテーブルを作成していません。インポートを実行する前に、ハイブにテーブルを作成する必要がありますか。別のテーブルをインポートCustomersすると、次の例外が発生します

しかし、もう一度インポートを実行すると、