テーブル FINE に必要な値を持つ行が存在する場合は、フィールドを更新するだけです。それ以外の場合は、テーブルに新しい行を追加します。
if (mysql_query("SELECT EXISTS(SELECT * FROM fines WHERE SId='$sid' AND Semester='$sem')")>=1)
mysql_query("UPDATE fines SET fines.TFine=fines.TFine+'$fine' WHERE SId='$sid' AND Semester='$sem'");
そうしないと
mysql_query("INSERT INTO fines(SId, Semester, TFine, Flag) VAlUES('$sid','$sem', '$fine', 0)");
しかし、if条件が機能していません!! 助けてください