これらを1つのtoggleClass()で実行する方法が必要です。
$('div').on("mouseenter", ".myButton", function(){
$(this).addClass('rollOver');
});
$('div').on("mouseleave", ".myButton", function(){
$(this).removeClass('rollOver');
});
...ただし、myButtonは動的に作成されるため、on()内にあります。