.exe ファイルと「インストールされた exe アプリケーション」に違いはありませんが、インストーラーによってその場所にコピーされたものです。
通常、インストーラーでは、ユーザーがアプリケーション (.exe) をインストールする場所を選択し、必要なショートカットと登録エントリ、[スタート] メニュー エントリなどを作成できます。実行可能ファイル (.exe) は同じです。
上記のすべては、手動でも実行できます。インストーラーは単純にそれらをバンドルしてプロセスを自動化し、ユーザーが簡単に作業できるようにし、すべてが適切に行われるようにします。
数十のインストール作成パッケージがあります (展開パッケージを作成するときに Visual Studio 自体に含まれるものを含みます)。MSI ベースのインストールが不要な場合に人気のある無料の方法は、Inno Setupです。無料で、インストールを非常に簡単にカスタマイズでき、かなり広く使用されています。
MSI インストーラーが必要な場合は、WIXが一般的な選択肢ですが、Inno Setup よりも習得と使用がはるかに困難です。
無料と商用の両方で、他にも多くの利用可能なインストーラーがあります。他の可能性の詳細については、ここで「Windows インストーラー」を検索するか、Google または Bing で同じものを検索してみてください。