Find centralized, trusted content and collaborate around the technologies you use most.
Teams
Q&A for work
Connect and share knowledge within a single location that is structured and easy to search.
HDFS にファイルを読み書きする必要がある Java アプリケーションがあります。私は FileSystem fs = FileSystem.get(configuration); を使用します。
そして、それはうまく機能します。
ここでの問題は、この参照を保持してシングルトンとして使用する必要があるか、それとも一度だけ使用して毎回新しい参照を取得する必要があるかです。
それが重要な場合は、アプリケーションが非常に高いトラフィックをターゲットにしていると言わざるを得ません。
ありがとう
答えは、ネットワーク帯域幅 (HDFS クライアントと HDFS クラスターの間) と、HDFS クライアントにフィードできる 1 秒あたりのデータ量の 2 つの数値の関係に依存すると思います。first の方が高い場合、同時にいくつかの接続を行うことは理にかなっています。 通常、2 ~ 3 の同時接続が最適です