変数名 "str" の特殊文字を失ったので、ユーザーにその中に文字を入力してもらい、文字列の Indexof チェックに応じて "hiii" または "byeee" と警告します
<head>
<script type="text/javascript" src="jquery-1.7.2.js"></script>
<script type="text/javascript">
$(function(){
    $('#me').click(function(){
    var Amd=$('.text').val();
    var str="[,],{,},<,>"
    if(Amd.indexOf(str)>-1){
        alert('hiiiii')
        }       
    else {
        alert('byee')
        }
    })
    })
</script>
</head>
<body>
<input type="text" class="text" />
<input type="button" value="click" id="me"/>
</body>