問題タブ [hadoop-plugins]

hadoopを使用してPDFファイルを読みたいのですが、どうすればよいですか？私はhadoopがtxtファイルしか処理できないことを知っているだけなので、PDFファイルをtxtに解析する方法はありますか。

いくつか提案をください。

私は、hadoopを介してmongodbからデータを読み書きできることを知っています。

このアダプターがmongodbコレクションからデータを読み取るときにmongodbのネイティブドライバーを使用するかどうかを知りたいので、mongodインスタンスを使用するのか、このアダプターが直接データ収集を読み取るのか。

また、Hadoopがマップリデュースで処理するためにmongodbのデータを読み取った場合、このHadoopのマップリデュースはmongodbのデータ収集をロックしませんか？

つまり、hadoopがmongodbのデータを読み取る場合、hadoopはこのデータをhadoopで使用するために保存します。また、hadoopがmapreduceを実行すると、mongodbによるデータ取得で機能しますが、処理のためにhadoopで内部を保存するため、hadoopはmongodbデータに干渉しません。

hadoop mongodbプラグインコネクタからmongodbデータを読み取り、mapreduce hadoopでデータを処理し、出力結果がhadoop mongodbプラグインコネクタを使用せず、mapreduce hadoopの結果をそのままhdfsに残すことは可能ですか？

ネイティブ Hadoop 圧縮コーデックを作成しました。Hadoop で動作させるには、ネイティブ (C コード) を libhadoop.so にコンパイルする必要があります。

どうすればこれを達成できますか？

私は通常、共通/共有ライブラリと実際のジョブ コードを異なる jar ファイルに格納しています。1 つのジョブ jar ファイルのみを再コンパイルして、hadoop コマンドを実行することはできますhadoop jar asdか? そうでない場合、jar パッケージを簡素化するための回避策はありますか?

現在、mapreduce ジョブを実行するために karmasphere eclipse プラグインを使用し始めています。ドキュメントの指示に従いました。ホスト マシンでローカル開発、展開ジョブを実行できます。その後、Cloudera CDH3 をダウンロードし、VM として (VMWare を介して) 実行しました。マップ削減ジョブを VM (ゲスト マシン) でローカルに実行でき、VM で発生している mapreduce ジョブを Eclipse Hadoop の観点から監視できます(ホスト マシン) カルマスフィアのリモート展開を試すと、HDFS で使用可能なファイルしか表示されませんが、ファイルにアクセスできず、マップ削減プログラムを実行したり、Eclipse IDE から HDFS に新しいファイルを作成したりできません。次の例外が発生します。

誰でもこれを手伝ってもらえますか？私はカルマスフィアとHadoopを初めて使用します。

カスケード/スカルディングがマップ側の評価を最適化する方法についての通知があります 。彼らはいわゆる部分集計を使用しています。コンバイナーよりも実際に良いアプローチですか？いくつかの一般的な Hadoop タスク (単語数など) でのパフォーマンスの比較はありますか? もしそうなら、hadoop は将来これをサポートしますか?

ラップトップから 1 つの namenode と datanode を持つクラスターである MapReduce の場所に接続しようとすると (eclipse と mapreduce プラグインがある場所)、エラーが発生します: サーバー IPC バージョン 7 はクライアント バージョン 3 と通信できません。グーグルでいくつかの情報を見つけましたが、あまり見つかりませんでした。私の mapreduce Eclipse プラグインが古いバージョンの IPC を使用しており、hadoop クラスターに新しいバージョンがあるためでしょうか。古いプラグインを使用しているだけですか？Eclipse プラグインが使用している IPC バージョンを確認するにはどうすればよいですか? 何か案は？

Hadoop と Eclipse は初めてです。新しい Hadoop サーバーを追加しようとするときの Hadoop Eclipse プラグインのインストール ディレクトリの形式を教えてください。私はグーグルで何時間も試してみましたが、運が悪くなってしまいました...どんな助けも大歓迎です

SingleColumnValueFilter、scan、getScanner を使用して、hbase テーブルから値を取得しています。結果として得られる値は、行 Id-vise でソートされます。しかし、結果を値万力でソートしたいのです。

例：

ここで、Web UI (カスタマイズしたもの) で金額を選択すると。次に、Result を amount-vise でソートする必要があります。