presentModalViewController:animated: の使用はサイズ変更できません。
presentModalViewController:animated: のような効果を得るには、次のように CATransition を使用します。
CATransition *animation = [CATransition animation];
[animation setDelegate:self];
[animation setType:kCATransitionMoveIn];
[animation setSubtype:kCATransitionFromBottom];
[animation setDuration:0.50];
[animation setTimingFunction:
[CAMediaTimingFunction functionWithName:
kCAMediaTimingFunctionEaseInEaseOut]];
[self.view.layer addAnimation:animation forKey:kCATransition];
次のように self.view にビューを追加します。
[self.view addSubView:testViewController.view];
[testViewController.view setFrame:CGRectMake((self.view.frame.size.width/4),(self.view.frame.size.height/4),(self.view.frame.size.width*3/4),(self.view.frame.size.height*3/4))];