xcode「TeamProvisioningProfile：*」によって管理される開発プロビジョニングプロファイルがあり、テスト用のビルドを配布するために使用するアドホックプロビジョニングプロファイルもあります。
アドホックプロファイルにデバイスを追加するたびに（新しいベータテスターを追加する場合）、そのデバイスも開発プロファイルに追加されます。開発プロファイルには開発者のみを含め、アドホックテストプロファイルにはテスターのみを含めたいと思います。
「自動デバイスプロビジョニング」はxcodeオーガナイザーでチェックされています。それが何をするのかわかりませんが、それが原因である可能性がありますか？