現在、CI には CruiseControl (ruby バージョン) を使用しており、単体テストと統合テスト (主に rspec) を実行しています。
これは素晴らしいことです。機能上の問題やリグレッションに関するフィードバックがすぐに得られます (私はインスタントをおおよその意味で使用しています;-)。
コミットによってパフォーマンスの低下が発生したかどうかはわかりません。
テストでたとえば 5% のパフォーマンス低下が測定された場合、ビルドを RED にしたいと思います。もちろん、データベース クエリの応答不良、Ruby 関数またはコントローラーの応答に費やされた時間など、問題を指摘します。
継続的なパフォーマンス テストは、過去数年間少し議論されてきたトピックですが、(主に Java と .NET の世界を対象とした) いくつかのベンダーの製品を除けば、Rails 側についてはあまり見かけません。パフォーマンス、負荷、およびボリュームのテストは別の作業であり、通常はメジャー アップデートの前に行われますが、そうでなければ定期的な反復やリリース中に忘れられることがよくあります。そして、ライブ インスタンスを監視する NewRelic の素晴らしい機能と、わずかな幸運のおかげで、大きなトラブルを回避できました。
CI はアジャイル開発の実践に不可欠であり、ビルド中の継続的なパフォーマンス テストの欠如は、私たちのツールに残っている数少ない大きなギャップの 1 つと思われます。
役立つツールを示したり、自分でハッキングした可能性があることを経験したりできるいくつかの回答が欲しいです。注: 私たちは CC に慣れていませんし、他の製品 (商用製品であっても) をビルド サイクルに含めることを嫌うわけではありません。