サーバーに2つのビルドエージェントをセットアップし終えたところです。私の考えでは、TFS Serverはサーバー自体ではなくビルドエージェントとして使用されるため、このマシンにインストールする必要はありません。ビルドエージェントを構成するためにTFSServerをインストールする必要があるかもしれませんが、構成が完了したらアンインストールできるといいのですが。
TFSサーバーをインストールせずにTFSBuildAgentを実行できるかどうかわかりませんか?
ビルド エージェント マシンでアプリケーション層 (サーバー) を構成する必要はありません。
ビルド エージェントをインストールできますが、ビルド エージェントを完全に構成するには、サーバーのコレクション (ローカルまたはリモート) に対して構成する必要があります。
ここで説明するウィザードのステップ 3 では、ビルド エージェントがビルドするコレクションをブラウズして選択する方法を詳しく説明しています (これは、VS クライアントから取得する接続ダイアログと同じです)。
TFS 2012 Build Wizard をオンプレミスで使用している場合 (現在リリースされています)、サーバーを展開する手間が省けます:) ステップ 3 で、クラウドでホストされているアカウント @ tfspreview.com を指定すると、認証とビルド エージェントのサービス アカウントの詳細をダウンロードします。
2012 ウィザードについては、こちらで説明しています。