現在、Amazon の EC2 で Postgres 9 を使用しており、パフォーマンスに非常に満足しています。現在、Postgres に最大 2 TB のデータを追加することを検討しています。これは、EC2 スモール インスタンスが保持できる容量を超えています。
S3QLを見つけたので、Postgres データ ディレクトリを S3 ストレージに移動することと組み合わせて使用することを検討しています。誰もこれを行った経験がありますか? 私は主にパフォーマンスに関心があります (頻繁な読み取り、書き込みの頻度が低い)。どんなアドバイスでも大歓迎です、ありがとう。
私のアドバイスは「そうしないでください」です。あなたの問題の文脈については何も知りませんが、PostgreSQL を介して大量のデータ処理を行う必要はないと思います。グリッド処理システムが発明されたすべての理由は、大規模なデータ セットの分析の問題を解決することでした。ディメンション データの抽出に関する標準的な BI プラクティスに従うシステムの構築を検討する必要があると思います。次に、その正規化されたデータを取得し、まだかなり大きいと仮定して、Hadoop/Pig にロードします。そこで分析と集計を行います。結果の集計データをファイルにダンプし、ディメンションと共に PG データベースにロードします。