問題タブ [sequencefile]

Hadoop 試験の準備中に、以下の質問に出くわしましたが、私は正解を理解できませんでした。質問についての正確性について確信が持てませんでした。

行番号、タブ文字、文字列の構造を持つファイルのディレクトリがあるとします。

各行を 1 つのレコードとして Mapper に送信します。行を完成させるためにどの InputFormat を使用しますか: setInputFormat (________.class);

答え：C

しかし、意見では、これを達成するために または のいずれかをKeyValueTextInputFormat使用SequenceFileAsTextInputFormatすることもできます。

私はApache Mahout Cookbookを読んでいます。しかし、第 2 章で問題があり、シーケンス ファイルを作成しています。私はMahout 0.9を使用しています

私が実行しているコマンドは次のとおりです。

しかし、次のエラーが発生します。

この例外を取得する理由を誰か教えてもらえますか? ありがとうございました！

次の形式の JavaPairRDD があります。

Key-Value 形式で保存したい(String, Tuple2< String, List< String>>)。

したがって、次のジョブはデータを my に直接読み込むことができますJavaPairRDD:

Java 7、Spark 1.2、Java API を使用しています。試しsaveAsTextFileてみましたがsaveAsObjectFile、どちらも機能しません。saveAsSequenceFileそして、私の日食にはオプションがありません。

この問題について何か提案はありますか？どうもありがとうございました！

Hadoop で Scalding を使用しています。データ フィールドの 1 つに基づいてチャンクで出力したい TypedPipe の形式の大きなデータセットがあります。

たとえば、データはで<category, field1, field2>、各カテゴリのデータを別のカテゴリの SequenceFile に格納する必要があります。outPath/cat1outPath/cat2

TemplatedTsvここでオプション について読みました： Scaldingで出力をバケット化する方法

そしてここ: Scalding で Hive スタイルのディレクトリ構造でデータを出力する方法は?

ただし、これは、SequenceFile ではなく、Tsv ファイルが必要な場合にのみ機能します。

明らかにループが機能します：

TemplateTsvでは、ループを回避して、SequenceFile の書き込みで機能する同等の方法はありますか?

Hadoop をインストールせずに Java のみから Hadoop シーケンス ファイルを作成することはできますか? シーケンス ファイルをローカルに作成するスタンドアロンの Java プログラムが必要です。私の Java プログラムは、hadoop がインストールされていない環境で実行されます。

1000 個の小さなファイル (1 ～ 2 MB) について、HDFS とローカル ファイル システムのパフォーマンスを比較したいと考えています。シーケンス ファイルを使用しない場合、HDFS はローカル ファイル システムと比較して、1000 個のファイルを読み取るのにほぼ 2 倍の時間を要します。ここでシーケンス ファイルについて聞きました - HDFS の小さなファイルの問題 これらのレコードを取得するための HDFS の応答時間が、ローカル FS よりも優れていることを示したいと思います。シーケンス ファイルは役に立ちますか、それとも別のものを探すべきですか? (おそらくHBase)

編集: Java プログラムを使用して、ここのようなファイルを読み取りますHDFS Read through Java

いくつかの小さな bzip2 ファイルをシーケンス ファイルに結合したいと考えています。シーケンス ファイルを作成するコードを見て、試してみました。しかし、以下のように奇妙な出力が得られます。これは、bzip2 ファイルを読み取れないためですか?

コードは

私が渡す入力は Json.bzip2 ファイルです。奇妙な出力が得られる理由を誰かが指摘してください。

EMR で PySpark を使用して、S3 で SequenceFiles として保存されているデータを分析しようとしていますが、データの局所性が原因でパフォーマンスの問題が発生しています。以下は、うまく動作しない非常に単純なサンプルです。

問題はcountアクションにあります。正常に動作しますが、タスクの分散は非常に貧弱です。何らかの理由で、Spark ログで、クラスターの 2 つの IP のみが実際の作業を行っており、残りはアイドル状態になっています。5 ノード クラスタと 50 ノード クラスタで試してみましたが、ログには常に 2 つの IP しか表示されません。

また、非常に奇妙なことに、これら 2 つの IP には RACK_LOCAL という局所性があります。データが S3 にあるためローカルではないためだと推測していますが、Spark が 2 つのインスタンスだけでなくクラスター全体を使用するようにするにはどうすればよいですか?

EMR での Spark 構成に固有のことは何もしませんでした。ネイティブ アプリを介して EMR にインストールするだけで、構成の最適化が自動的に処理されると思います。

ログでこれを見ました。これはallowLocal=false問題である可能性がありますが、それについては何も見つかりませんでした:

の実行時に続くいくつかのログにはcount、2 つの IP のみが示されています。