あなたが望むように見えるあなたのjsFiddleの更新版を作成しました。
..編集...あなたの要求を反映するように更新されました。値配列に保存していることに気づきませんでした。申し訳ありません。また、マークアップに若干の変更を加えました。
$(document).ready(function(){
var deleteBtn = "<input class='deleteitem' type='button' value='Delete' name='delete' id='delete' />";
var values = [];
$("#myForm").submit(function(){
var frm= $("#myForm").serializeObject();
values.push(frm.item);
$("#display").append("<li><p>" + frm.item +"</p>"+ deleteBtn +"</li>");
return false;
});
$("#display").on("click", ".deleteitem", function(event){
var removeItem = $(this).parent().children('p').text();
$('.log').after("<p>"+removeItem + " removed</p>");
$(this).parent().remove();
values = jQuery.grep(values, function(value) {
return value != removeItem;
});
console.log(values);
});
});
概念実証のマークアップは最高ではありませんが、アイデアは理解できます。