0

私は、hadoopを介してmongodbからデータを読み書きできることを知っています。

このアダプターがmongodbコレクションからデータを読み取るときにmongodbのネイティブドライバーを使用するかどうかを知りたいので、mongodインスタンスを使用するのか、このアダプターが直接データ収集を読み取るのか。

また、Hadoopがマップリデュースで処理するためにmongodbのデータを読み取った場合、このHadoopのマップリデュースはmongodbのデータ収集をロックしませんか?

つまり、hadoopがmongodbのデータを読み取る場合、hadoopはこのデータをhadoopで使用するために保存します。また、hadoopがmapreduceを実行すると、mongodbによるデータ取得で機能しますが、処理のためにhadoopで内部を保存するため、hadoopはmongodbデータに干渉しません。

4

1 に答える 1

1

mongo-hadoopプラグインを使用してHadoop内にデータがキャッシュまたは保存されることはありません。

代わりに、各チャンクは、Hadoop MapReduceジョブを並列化するために、個別の入力分割としてHadoopに読み込まれます。

mongodbで発生する唯一のロックは、データがMongoから読み取られるときの軽い読み取りロックです。

于 2012-03-26T20:50:29.613 に答える