IE11 は Google マップの WebGL バージョンを処理できません。たとえば、このページで地図をドラッグしてみてください。
https://developers.google.com/maps/documentation/javascript/examples/map-simple
ただし、maps.google.com にアクセスすると、ライト モード (キャンバス) が使用されており、はるかにスムーズに動作することがわかります。そのページにアクセスしてもキャンバス モードが自動的に使用されない場合は、次の URL にアクセスしてください。
www.google.com/maps/preview/?force=canvas
Maps JavaScript API に対して開発を行っているため、IE11 ユーザーがひどい経験をしないように、このモードを強制する方法を知る必要があります。