Apache Flume の HDFS シンクのデフォルト パラメータを見ると、大量の非常に小さなファイル (1 kB ロール) が生成されるようです。私が GFS/HDFS について学んだことから、ブロックサイズは 64MB であり、ファイルサイズは、すべてが効率的に実行されることを確認するためにむしろギガバイトである必要があるということです。
したがって、Flume のデフォルト パラメータが単に誤解を招くだけなのか、それともここで何か見落としているのか、気になります。
乾杯。
Apache Flume の HDFS シンクのデフォルト パラメータを見ると、大量の非常に小さなファイル (1 kB ロール) が生成されるようです。私が GFS/HDFS について学んだことから、ブロックサイズは 64MB であり、ファイルサイズは、すべてが効率的に実行されることを確認するためにむしろギガバイトである必要があるということです。
したがって、Flume のデフォルト パラメータが単に誤解を招くだけなのか、それともここで何か見落としているのか、気になります。
乾杯。