for ループが少し混乱していると思います。
for(int testDivide=2;testDivide<Math.sqrt(number);testDivide++){
}
testDivide が sqrt(number) と等しいときに停止する理由がわからない場合は、testDivide がより大きいときに停止する必要があります。
また、内側の for ループの内側も正しくありません。
if(number%testDivide!=0) {
System.out.println(number);
}
break;
基本的にこれが行うことは、数値が 2 で割り切れるかどうかを確認してからブレークすることだけです。きれいに割り切れる数 (number%testDivide==0) を見つけた場合にのみ、中断する必要があります。おそらく、ブレーク時にtrueに設定したブール値を保持し、そのブール値がfalseの場合、内側のforループが終了した後にのみ出力します。
線に沿った何か:
for (int number=2; number<range; number++){
boolean found = false;
int limit = (int)Math.sqrt(number);
for (int testDivide=2; testDivide<=limit; testDivide++){
if(number%testDivide==0) {
found = true;
break;
}
}
if (!found) System.out.println(number);
}