自律型水中車両から収集された大きな CSV ファイルを集約するデータ マネージャーを設計しています。時間分解能は非常に細かいため、これらのファイルは長時間実行すると非常に大きくなります。ピッチ、ロール、高度など、多くのパラメータを収集します。これには、組み込みの Apache Derby データベースの使用を調査しています。derby が実際に CSV ファイルの一括インポートを実行できることを確認しましたが、インポートのサイズにいくつかの制限がある可能性があります。
私の質問は、組み込みデータベースはこのアプリケーションに適しているでしょうか? もしそうなら、この特定の種類のデータのテーブルを作成する際に考慮すべきことは何ですか? データベースに関する私の経験は、Web アプリケーション用の少量の永続データの反応性に限定されています。
これは、私が扱っているデータのタイプの例です。通常、1 回の実行で複数のファイルに分割され、それぞれ約 10,000 行、最大 80 列になります。
