このUPDATED FIDDLEを確認してください。動作させるために必要な変更を加えました。オブジェクトをキャッシュし、選択が変更されたときに新しい要素を割り当てています。
///
AnswerDiv.on("click", ".NotSelectedAnswer", function(){
$(this).button("disable");
NotSelectedAnswerBtn= $(".NotSelectedAnswer");
SelectedAnswerBtn= $(".SelectedAnswer");
SelectedAnswerBtn.removeClass("SelectedAnswer").addClass("NotSelectedAnswer").button("enable");
NotSelectedAnswerBtn.removeClass("NotSelectedAnswer").addClass("SelectedAnswer").button("disable");
$("div.Answer[data-id="+SelectedAnswerBtn.data("id")+"]").toggleClass("SelectedDiv");
$("div.Answer[data-id="+$(this).data("id")+"]").toggleClass("SelectedDiv");
})
また、最初に変数をローカル変数に割り当てるようにしてください。これは良い習慣です。