問題タブ [floating-accuracy]

いくつかの金融関連の SQL コードをデバッグすると、numeric(24,8) 数学の精度に関する奇妙な問題が見つかりました。

MSSQL で次のクエリを実行すると、A + B * C 式の結果が 0.123457 になります。

SELECT A, B, C, A + B * C FROM ( SELECT CAST(0.12345678 AS NUMERIC(24,8)) AS A, CAST(0 AS NUMERIC(24,8)) AS B, CAST(500 AS NUMERIC(24) ,8)) AS C ) T

したがって、2 つの重要なシンボルを失いました。これをさまざまな方法で修正しようとすると、中間乗算結果（ゼロです！）から数値（24,8）への変換がうまくいくことがわかりました。

そして最後に解決策があります。しかし、まだ質問があります。MSSQL がこのように動作する理由と、サンプルで実際に発生した型変換は何ですか?

浮動小数点変数を使用する際の「エラー」について聞いたことがあります。今、私はこのパズルを解こうとしていますが、丸め/浮動小数点エラーが発生していると思います。というわけで、いよいよ浮動小数点誤差の基礎を理解していきます。

浮動小数点/丸めエラーの簡単な例は何ですか (できれば C++ で)?

編集: たとえば、成功確率 p のイベントがあるとします。このイベントを 10 回行います (p は変化せず、すべての試行は独立しています)。ちょうど 2 回の試行が成功する確率は? 私はこれを次のようにコーディングしました：

これは浮動小数点エラーの機会ですか?

フロートでかなりの精度を失っているようです。

たとえば、行列を解く必要があります。

これは、テキストファイルからマトリックスをインポートするために使用するコードです。

ガウス・ザイデルを使用して解く必要があるため、x、y、zの方程式を再配置する必要があります。

これが私が方程式を再配置するために使用するコードです。bは係数の行列であり、yは答えベクトルです。

しかし、私が返す答えは小数点以下の桁数まで正確ではありません。

たとえば、上から2番目の方程式を並べ替えると、次のようになります。

私が得るものは：

これは大きな問題ではないように思われるかもしれませんが、数値を非常に高い累乗に上げると、エラーは非常に大きくなります。これを回避する方法はありますか？クラスを試しましたDecimalが、パワー（つまり）ではうまく機能しませんDecimal(x)**2。

何か案は？

私のコード:

a浮動小数点値として表示したかったのです。

は文字列なのでa、試しました：

私が得た結果は次のとおりです。

この問題の解決策が欲しいです。お願いします、助けてください。

私はこのチュートリアルに従っていました。

次のコードを検討してください。

これらの不正確さはなぜ起こるのでしょうか?

私のマシンの浮動小数点数の内部表現の結果であると思われる精度の問題を克服する方法があるかどうか疑問に思いました。

わかりやすくするために、問題は次のように要約されます。

整数型にキャストする前の列計算の結果は1.9999999999999996です。2.0の望ましい結果からはまだ近いです。

どんな提案でも大歓迎です。

この次の算術問題に遭遇しました。

しかし、結果は通常の演算とは異なります。

私たちが開発しているゲームを最適化すると、すべての CPU サイクルがカウントされるフェーズに突入します。他のオブジェクトの周りを回るオブジェクトの位置計算にラジアンを使用していますが、ルックアップ テーブルで不必要な精度を削減したいと考えています。そのために、定義済みの Pi を多用します。この Pi はどのくらい正確ですか?

だから、私の質問は：

• どのくらい正確ですか？
• またはさらに良いことに、必要な精度を決定する方法は?