問題タブ [rounding-error]

基本的に、アサートは爆破され、出席者は 135 ではなく 134 を返しました。しかし、それが最善/適切/慣用的な方法であるかどうか疑問に思っていました.

このコードがどこから来たのか知りたい人のために:出席コード

次のようなクエリがあります。

返されるレコードの FLOAT 列 ConsumptionRate の値は 16.5667068820687 です。

クエリの最後に次を追加します。

新しいクエリを実行すると、追加の条件が SQL Server 自体が報告したものとまったく同じであるにもかかわらず、ゼロ レコードが返されます。これは丸め誤差だと思います。ただし、最初のクエリによって返された結果に基づいて 2 番目のクエリを実行する CLR 関数があります。

最初の結果の正確な表現を維持しながら、2 番目の結果で既存のレコードを見逃さないようにするには、生成された検索基準で何ができますか?

緯度/経度 (ラジアンではなく度数) とコサインの球面法則を使用して 2 点の距離を計算する関数を作成しています。私が抱えている問題は、関数の丸め誤差のためacos()に、2 つの点が互いに非常に近い場合に得られる結果があまり良くないことです。

出力は

ご覧のとおり、計算するacos()とゼロになるはずですが、地球の半径を掛けた後に非常に拡大されるいくつかのエラーが発生します。また、2 つの点が等しくないが非常に近い場合にも発生します。緯度と経度に関する私のデータは、10 進数で 7 桁までです。

誰でもこれがどのように説明できますか:

これを出力します：

現時点では、信頼できないため、printf と sprintf の使用を停止しました。だから私は代わりにこれをやっています：

これは機能しますが、なぜこれを行う必要があるのか​​ について興味があります。

2 進数がすべての基数 10 の数値を正確に表すことができないことを理解しており、このスタック オーバーフロー エントリ: Perl の丸めエラーをなくす方法 を読みましたが、正直なところ、このような一見単​​純な例で問題が発生するとは思っていませんでした。

$amount の値も正しいです。printf が正しく印刷されていないだけです。

何か案は？

この浮動小数点の問題を JavaScript で解決しようとしています。これは私がやりたいことの例です:

ただし、この形式では、0.2 -> 0.4 -> 0.600...001 という丸めエラーが発生します。

を試しparseFloat、他のスレッドtoFixedでMath.round提案しましたが、どれもうまくいきませんでした。選択肢がなくなったと感じているので、これを機能させることができる人はいますか。