テーマを指定していない場合、トグルボタンに問題があります。
テーマを使用すると問題なく見えますが、 AndroidManifest.xml から android:theme="@style/AppTheme" タグを削除すると、トグルボタンに不要なアイコンが追加されます。
サンプル画像はこちら:
次のxmlレイアウトでトグルボタンだけのサンプルプロジェクトを作成しました:
<RelativeLayout xmlns:android="http://schemas.android.com/apk/res/android"
android:layout_width="match_parent"
android:layout_height="match_parent">
<ToggleButton
android:layout_width="wrap_content"
android:layout_height="wrap_content"
/>
</RelativeLayout>
これがその外観です。
トグルボタンアイコンをオーバーライドするには、デバイスのデフォルトテーマから継承する新しいテーマを定義する必要があると思いますが、これまでのところ成功していません。