0

HDFS で大量の小さな画像を処理したい。Hadoop は、名前ノードのメモリを節約するために、大量の小さなファイルを格納するためのアーカイブ API とシーケンシャル ファイル形式を提供します。ただし、map-reduce 後に要件に一致する画像を取得する必要があります。よくわかりませんが、アーカイブとシーケンシャルの両方のファイル形式から画像を取得するのは難しいと思います。ただし、これらの方法を使用しない場合は、ファイルのパスを返すことを選択し、サーバーがそれらのパスを介して HDFS からそれらのイメージをダウンロードできるようにすることができますが、namenode にさらにプレッシャーがかかる可能性があります。使用するスキームを決定できません。誰でも提案できますか？Google が画像をデータ センターに保存し、ユーザーのクエリに応答してそれらの画像を返す方法に非常に興味があります。

4

1 に答える 1

1

小さなファイルの保存とランダムな読み取り/書き込みを一方で行い、他方でマップ/リデュース ジョブに完全に参加できるようにする HBase を検討する必要があります。

于 2012-06-22T17:23:01.253 に答える