用語がやや曖昧です。ユーザーのマシンで実行されるクライアント アプリが必要ですか、それともサーバーで実行され、ユーザーがリモート デスクトップ (RDP) 経由で接続するアプリが必要ですか?
WCF などを介してサーバーと通信するクライアント アプリについて話している場合は、標準の Web アプリよりも高速ですが、ネイティブ デスクトップ アプリよりも遅くなります。ポストバックがないためだけでなく、大量の HTML/Javascript をデータと組み合わせて送信するのではなく、純粋なデータをネットワーク経由で送信するため、Web アプリよりも高速になります。クライアント アプリにはいくつかのオプションがあるため、慎重に検討してください。Silverlight、WPF、またはネイティブの WinForms アプリのどれが必要ですか? それぞれにプラスとマイナスがあります。
ユーザーが RDP 経由でアクセスするサーバー上でクライアント アプリを実行することについて話している場合は、他にも考慮すべき点があります。同時ユーザーが 2 人を超える場合は、ユーザーがサーバーに接続できるように CAL の購入を検討する必要があります。この時点で、リモート デスクトップを使用する代わりに、ターミナル サーバーまたは Citrix タイプのセットアップを実行する必要があるかどうかも検討する必要があります。
編集
WAN (インターネット) 経由で WCF を使用する場合は、確実にセキュリティを確保する方法を検討する必要があります。WCF を使用すると、チャネルを保護するのは簡単になりますが、認証を行う方法を検討する必要があります。いくつかの方法がありますが、自分で簡単にググることができます。ユーザーのリソースやスキルセットが限られているため、どの方法を選択するかが重要になります。
何を書くかについては、それがあなたの経験である場合、Winformsと議論することはできません。個人的には、Web タイプのアプリケーションに ASP.NET/Ajax/etc を使用することは二度とありません。WPF または Silverlight をずっと使用します (単純な Web サイトには ASP.NET のみを使用します)。Visual Studio の高速 (無料) バージョンを使用して書き込むことができます。Expression は必要ありません (あると便利で、実際のコーディング側よりもデザイン側を対象としています)。アプリのデプロイは難しくありません。Silverlight または WPF xbap は Web 経由で配信されます。ユーザーは何もする必要はありません (Silverlight プラグインの簡単なインストールまたは WPF 用の適切な .Net フレームワークのインストールを除いて -このリンクを確認してください)。Winforms またはスタンドアロンの WPF は、もう少し作業が必要です。
どちらを選択する場合でも、開発にかかる時間を過小評価しないように注意してください (少し学習曲線が必要になるため)。また、テスト (特にセキュリティ面) に十分な時間を確保するようにしてください :)