問題タブ [common-data-format]

次のような形式になる可能性が最も高い大量のデータを収集しています。

ユーザー 1: (a,o,x,y,z,t,h,u)

u を除くすべての変数が時間に関して動的に変化する場所 - これはユーザー名を格納するために使用されます。私のバックグラウンドは「ビッグデータ」にあまり集中していないため、理解しようとしているのは、配列を最終的に作成すると、各タイムステップで分析を実行するため、108000 x 3500 のような非常に大きくなるということです。それをグラフ化して、これを管理するのに適切なデータベースは何かを決定しようとしています。これは科学研究のためなので、私は CDF と HDF5 を調べていました。NASAで読んだ内容に基づいて、CDF を使用したいと思います。しかし、これはそのようなデータを管理して速度と効率を向上させる正しい方法でしょうか?

最終的なデータセットにはすべてのユーザーが列として含まれ、行にはタイムスタンプが付けられるため、分析プログラムは行ごとに読み取ってデータを解釈します。そして、データセットにエントリを作成します。たぶん、CouchDB や RDBMS などを検討する必要があるかもしれませんが、どこから始めればよいかわかりません。アドバイスをいただければ幸いです。

R を使用してデータ分析を開始することを考えています。これまで R (または HDF、CDF などの派手なデータ形式) を使用したことがありません。現在、NASA の Web サイトから入手できるデータは、ASCII または CDF (Common Data Format) のいずれかです。CDF を使用することを考えていましたが、R で CDF ファイルを読み取る方法を見つけることができませんでした。HDF5 を R に読み取ることはできますが、CDF では成功しませんでした。

Goddard Space Flight Center の CDF ページには、いくつかのデータ変換ツールが用意されていますが、残念ながら CDF を HDF5 に変換するツールはありません。http://cdf.gsfc.nasa.gov/html/dttools.html

そうする方法についての指針は非常に役に立ちます。

ありがとう！