Excel 2013 アドインがあります。
ユーザーが最初に通常の RDP 接続を介してログインしていない場合、リモート デスクトップ ゲートウェイを介してロードされない理由がわかりません。
サーバーのレジストリを調べると、Office には、CURRENT_USER\Software\Microsoft\Office\Excel\Addins\ などのエントリがいくつか欠けているようです。
CURRENT_USER\Software\Microsoft\Office\15.0\Excel\ しか取得できませんでした