2

スクレイピングしたデータの書き込みに Hadoop を使用しています。

HDFS にコンテンツを書き込むために複数のスレッドから呼び出されるスプリング サービスがあります。

@Service
public class WriteService
{
    public void write(String path, String content)
    {
        FileSystem fs = FileSystem.get(conf);
    }
}

FileSystem オブジェクトが WriteService のメンバーになることができるかどうかはわかりません。また、それがスレッド セーフかどうかもわかりません。DistributedFileSystem オブジェクトを使用しています。

それがスレッドセーフであり、サービスのメンバーとして使用できるかどうか知っていますか?

ありがとうございました

4

1 に答える 1

1

Hadoop DFS は、いわゆるWORM モデルを使用します。これにより、並行性の問題に関してはより堅牢になります。

しかし、質問に答えると、一般的に安全ではありません。同時実行制御の要件について考える必要があります。

于 2015-04-14T14:16:55.943 に答える