画像の境界をImageViewusingの境界にスケーリングするためのオプションを設定できますsetScaleType(ImageView.ScaleType)。
デフォルトは何ImageView.ScaleTypeですか?
のように見えますScaleType.FIT_CENTER:
private void initImageView() {
    mMatrix     = new Matrix();
    mScaleType  = ScaleType.FIT_CENTER;
}
ImageViewのソースコードへのリンク:Android 4.1.1 r6.1