データを大量に扱うプログラムを作成していますが、2 つの方向に直面しています。アルゴリズムは、データが必要になるたびにデータベースにクエリを実行するか、独自のデータ構造を作成してデータを 1 回だけフィードする必要があります。
ビッグデータの場合、DBMS がクエリをどのように処理するのか本当にわからないと思いますか? 特にトラフィックが多い場合は、しばらく時間がかかる可能性があるため、独自のデータ構造を発明する方がはるかに優れているので、そうですか?
データを大量に扱うプログラムを作成していますが、2 つの方向に直面しています。アルゴリズムは、データが必要になるたびにデータベースにクエリを実行するか、独自のデータ構造を作成してデータを 1 回だけフィードする必要があります。
ビッグデータの場合、DBMS がクエリをどのように処理するのか本当にわからないと思いますか? 特にトラフィックが多い場合は、しばらく時間がかかる可能性があるため、独自のデータ構造を発明する方がはるかに優れているので、そうですか?
ak/v ストレージだけが必要だと思います。LevelDB ( http://code.google.com/p/LevelDB ) を試してください。
列のサブセットのみに関心がある場合は、DB にビューを作成できます。そのため、テーブルが常にスキャンされるわけではありません。