数ペタバイトのテキスト データを 1 秒以内にストレージ (RAM/SSD) にロードする必要があります。
以下は、上記の問題を解決するための質問の一部です。
1) 1 秒間に数ペタバイトのデータをロードすることは、現実的/理論的に可能ですか? 2) ペタバイト規模のデータを数秒で高速にロードするための最適な設計アプローチは何か。3) 利用可能なベンチマークアプローチはありますか?.
Hadoop、spark、HPCC など、あらゆる種類のテクノロジーを実装しても問題ありません...
3 に答える
2
いいえ、現時点では技術的に不可能です。RAM メモリでさえ十分な速度ではありません (明らかな容量の制約は言うまでもありません)。最速の SSD (M.2 ドライブ) は約 1.2GB/秒の書き込み速度を実現でき、raid 0 では最大でも約 3GB/秒の速度を実現できます。これらのドライブ自体は非常に高価であるため、経済的な制約もあります。
あなたの質問に答えるために、これらの速度は現時点では技術的に不可能です.
于 2016-12-09T07:23:13.970 に答える
0
HPCCの観点から...
Thorは、データをロードし、複数のサーバーをサポートするように設計されています。ただし、私が聞いた最大のクラスターは約 4000 サーバーです。Thor は、大量のデータを長時間 (1 週間でも) ロードするように設計されています。
一方、Roxieはデータを迅速に提供するように設計されていますが、求めているものではありません...また、1 秒未満でペタバイトを提供することもできません。
于 2017-09-11T15:52:03.937 に答える