0

100 個の csv ファイルをデータフレームに変換し、HDFStore に保存しています。

の長所と短所は何ですか

a - csv ファイルを 100 個の異なる HDFStore ファイルとして保存しますか?

b - すべての csv ファイルを単一の HDFStore に個別の項目として保存しますか?

パフォーマンスの問題以外に、安定性の問題があり、HDFStore ファイルが頻繁に破損するため、質問しています。したがって、私にとっては、単一の HDFStore に関連するリスクがあります。とはいえ、一店舗だけのメリットがあるのか​​は疑問です。

4

1 に答える 1

1

違いは次のとおりです。

複数のファイル

  1. 複数のファイルを使用している場合、書き込み時に破損する可能性があるファイルは 1 つだけです (たとえば、書き込み中に電源障害が発生した場合)。
  2. 複数のファイルで書き込みを並列化できます (注 - 絶対に単一のファイルで並列化しようとしないでください。これは破損します!!!)

単一ファイル

  1. 論理セットの場合はグループ化

サブディレクトリを使用してグループ化プロパティを簡単に複製できるため、複数のファイルの利点は単一のファイルを使用することを上回ります

于 2014-09-01T13:57:59.637 に答える