Xの二乗が常に無限大になり、結果として得られる距離も無限大になるという問題が発生していますが、自分の計算に問題はありません。
// Claculate distance
xSqr = (x1 - x2) * (x1 - x2);
ySqr = (y1 - y2) * (y1 - y2);
zSqr = (z1 - z2) * (z1 - z2);
double mySqr = xSqr + ySqr + zSqr;
double myDistance = sqrt(mySqr);
プログラムを実行すると、各座標のユーザー入力を取得し、計算を実行した後の距離を表示します。