クリックされたアイテムの n 番目の兄弟をターゲットにしようとしています。基本的に、nth(4n+4) である次の要素をターゲットにして、その後に新しい要素を挿入できるようにします。「改行」のようなものです。
$("li").click(function () {
$(this).next('li:nth-child(4n+4)').after('<li class="full">new full width item</li>');
});
動作していないように見えるのは . next('li:nth-child(4n+4)') です。
説明するのは少し難しいですが、ここで私が意味することを理解するでしょう: http://jsfiddle.net/hYE7e/1/