シナリオ：

SQlServerからHDFSにデータをインポートしました。次のように複数のファイルのHDFSディレクトリに保存されたデータ。

part-m-00000
part-m-00001
part-m-00002part
-m-00003

質問：

私の質問は、HDFSディレクトリからこの保存されたデータを読み取るときに、すべてのファイル（part-m-00000,01,02,03）または単にを読み取る必要があるということですpart-m-00000。そのデータを読んだときに、HDFS内のデータが少し欠落していることがわかったからです。それで、それは起こるのでしょうか、それとも私が見逃したことでしょうか？

hadoopとhbasecdh3u2をインストールしました。hadoopでは、パスにファイルがあります/home/file.txt。それは次のようなデータを持っています

このファイルをhbaseにインポートしたいと思います。その中で、最初のフィールドは文字列として解析され、2番目のフィールドは整数として解析されてから、hbaseにプッシュされる必要があります。これを行うのを手伝ってください

よろしくお願いします。

HBase を使用してデータを保存していますが、後で要件に合わせて、HBase から mysql や postgres などの RDBM にデータをエクスポートしたいと考えています。オプションとしてSqoopがあることは知っていますが、MySQLからインポートしてHBaseに入れ、HDFSに保存されたデータをRDBMSにエクスポートし、HBaseから直接データをインポートすることはできません.

HBase テーブルから RDBMS テーブルにデータをエクスポートするツールはありますか?

SQL Server から Hive への sqoop インポートを試みています。sqoop-import コマンドを実行すると、インポート タスクが完了し、HDFS (/user/hive/warehouse/table_name_dir の下) で完全なデータを確認できますが、HIve CLI で「SHOW TABLES」コマンドを実行すると問題が発生します。リストにテーブルが表示されません。

(一度試してみると、テーブルをインポートした後、上記と同じことが起こり、インポートされたフィールドと同じフィールドを使用して Hive CLI で CREATE TABLE QUERY を実行し、Hive CLI でテーブルを表示してアクセスすることができました。しかし、私がパフォーマンスするたびにこれが効果的な方法だとは思いません)。

Plsは私にいくつかの解決策を提案します私が逃したステップはありますか、それとも何か問題がありますか? なぜそれが起こっているのかわかりませんか？ありがとうございます

MSSQLServerからHiveに約10個のテーブルをインポートしました。しかし、テーブルの1つでHiveのレコードをクロスチェックしようとすると、クエリを実行したときにさらに多くのレコードが見つかりました（tblName;からcount（*）を選択してください）。

次に、そのテーブルを削除して、Hiveに再度インポートしました。コンソールログで次のことを確認しました（203レコードを取得）。次に、（tblNameからcount（*）を選択;）を再試行し、カウントを298として取得しました。

私はこれがなぜ起こるのか理解していません。クエリに問題があるか、sqoop-importのコマンドが正しくないために発生します。

他のすべてのテーブルレコードは問題ありません。

plsはこれから私を助けます。

コマンドラインからsqoopを使用する方法を知っています。しかし、Javaプログラムを使用してsqoopコマンドを呼び出す方法がわかりません。誰かがコードビューを与えることができますか？

sqoopを使用してHDFSからMSSQLサーバーにデータを転送しようとしています。しかし、いくつかの理由で、sqoopは

ファイアウォールを確認しましたが、制限なく接続できます。Sqoopは認証されますが、認証された後はマップリデュースジョブを開始しません。誰かが以前に同様の問題に直面したことがありますか？

ハイブを使用しています。その中にいくつかのタスクを実装し、SQOOP を使用して Hive から SQL Server にテーブルをエクスポートしたいと考えました。

テーブルが Hive からエクスポートされたら、SQL Server でトリガーを起動したいと思います。トリガーを発射することは可能ですか？

Pls はできるだけ早く私に返信します。

ありがとう。

Hive から SQL Server に何度もテーブルをエクスポートしました。私はこの問題に直面したことはありません。

フィールド区切り文字を「、」として使用し、SQL Serverでテーブルも作成しました。

[私のバージョンは、hadoop-0.20.2-cdh3、sqoop-1.3.0-cdh3u1、hive-0.7.1 です]

私は何か間違ったことをしましたか。Plsはこれから私を助けてくれます。

どうもありがとう。

概要：

次のことは可能ですか。

1. «MongoDB Connector for Hadoop» を使用して Hadoop にデータをインポートします。
2. Hadoop MapReduce で処理します。
3. 単一のトランザクションで Sqoop を使用してエクスポートします。

MongoDB で Web アプリケーションを構築しています。MongoDB はほとんどの作業でうまく機能しますが、一部の部分ではより強力なトランザクション保証が必要であり、そのために MySQL データベースを使用しています。

私の問題は、データ分析のために大きな MongoDB コレクションを読み取りたいのですが、コレクションのサイズが大きいため、分析ジョブの処理に時間がかかりすぎることです。残念ながら、MongoDB に組み込まれている map-reduce フレームワークはこのジョブにはうまく機能しないため、Apache Hadoopで分析を実行することをお勧めします。

MongoDBからデータを読み取り、Hadoop で MapReduce を使用して処理し、最終的に結果を MongoDB データベースに出力する«MongoDB Connector for Hadoop»を使用して、MongoDB から Hadoop にデータを読み取ることができることを理解しています。

問題は、結果を他の MySQL テーブルとマージする必要があるため、MapReduce の出力を MongoDB ではなく MySQL データベースに入れたいことです。

この目的のために、Sqoop は Hadoop MapReduce の結果を MySQL にエクスポートできることを知っています。

最終的には、MongoDB データを読み込んで Hadoop で処理し、最終的に結果を MySQL データベースに出力したいと考えています。

これは可能ですか？これを行うために利用できるツールはどれですか?