問題タブ [distributed-filesystem]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
dropbox - Dropbox は分散ファイル システムと見なされますか?
私はちょうどこれを読んでいましたhttps://en.wikipedia.org/wiki/Clustered_file_system#Distributed_file_systems
DFS の定義は Dropbox を正確に表しているように思えますが、例のリストにはありません。
では、Dropbox がこのカテゴリーに分類されない理由は何でしょうか?
filesystems - 小さなファイル用の高速分散ファイル システム
当社には 500 万人のユーザーがいます。ユーザーのコードファイルを保存します。ユーザーは、Web IDE と同じように、Web IDE リスト ユーザーのファイルを編集および追加できます。readdir、file_get_contents、file_put_contents などの PHP 関数を使用して、これらの操作を実装します。MooseFSを使用しましたが、プログラムでファイルを読み取るとき、特に読み込み速度が遅いです。
そのため、ファイル システムを交換する必要があります。誰かがアドバイスをくれることを願っています。分散ファイル システムを使用する必要がある多数の小さなファイルがあります。
apache-zookeeper - Zookeeper を使用してクラスターにファイルを配布する
ユーザー入力に基づいてファイルを作成する API があります。1 つのファイルが 1 つのノードにのみ存在するように、このファイルをクラスター全体に分散する必要があります。これを達成するために Zookeeper を使用できますか?
ユーザーがファイルを削除したい場合があります。つまり、Zookeeper は、求められたときにノードからファイルを削除する必要があります。
Zookeeper wiki を読みましたが、どのように/いつ使用するかを理解するのは困難です。
hadoop - IgnitePath (HadoopIgfsSecondaryFileSystemPositionedReadable を返す) を開くときに InputStream を取得する方法は?
通常、Hadoop と Flink を使用する場合、分散ファイル システムからファイルを開く/読み取ると、java.io.InputStream を拡張する Source (Sink の対応部分) オブジェクトが返されます。
ただし、Apache Ignite では、IgfsSecondaryFileSystem、より具体的には IgniteHadoopIgfsSecondaryFileSystem は、" open " メソッドを (IgfsPath を渡して) 呼び出すと、タイプ HadoopIgfsSecondaryFileSystemPositionedReadable のオブジェクトを返します。
HadoopIgfsSecondaryFileSystemPositionedReadableは " read " メソッドを提供しますが、入力ストリームの位置など、読み取る予定のデータの場所に関する詳細を知る必要があります。
読み取りメソッドを呼び出す前に、これらの詳細を確認する方法は?
私はこれらのフレームワークにまったく慣れていませんが、Hadoop ファイル システムに保存されているファイルを指す IgfsPath に基づいて InputStream を取得する別の方法が存在する可能性がありますか?
ここで説明されていることを達成しようとしています: https://apacheignite-fs.readme.io/docs/secondary-file-system
ヒントをよろしくお願いします！