MinGW 4.6.2のVimの動作がおかしいです。たとえば、挿入モードでBackspaceキーを押すと文字が削除されますが、削除された文字が消える前に矢印キーでカーソルを移動する必要があり、挿入モードも終了します。
別の例として、Delを押して文字を削除すると、小文字を大文字に変更するなどの奇妙な文字が生成されたり、キー入力した次の文字が破損したりすることがあります。たとえば、「S」を押すと最初に「$」が表示されます。
私はVimを間違って使用していますか?私はVimにあまり詳しくないので、これがデフォルトの動作であるかどうかはわかりませんが、私が理解している典型的なVimの動作は、BackspaceとDelがNotePadの場合と同じように機能するGitBashのVimのようなものです。