問題タブ [rounding-error]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票する
1 に答える
40 参照

matlab - どの式がどの種類のエラーの影響を受けるかを判断する方法

x が一般に小さい数 (<0.00001) である場合、これらの数式のどれが丸め誤差の影響を受けやすく、どれが切り捨て誤差の影響を受けやすいでしょうか?

1 つ目は丸め誤差だと思いますが、2 つ目は何ですか?

0 投票する
1 に答える
2943 参照

sql - 小さい値の SSRS での丸め誤差を回避する

SQL Server Reporting Services を使用して、データベースの値がゼロの場合、次の形式の式を --- に変換すると、適切に小数点以下 2 桁になります。

,0.00;(#,0.00);'---'

ただし、値が 0.001 で、レポートが 2 桁まで表示する必要がある場合 (つまり、0.00 を表示する必要がある場合)、結果の形式 --- レポートに表示されます。

SSRS でこれらの丸めの問題を回避する方法はありますか?もしそうなら、新しい形式/関数/などはどうなりますか? 結果は 0.001 に対して 0.00 になるはずです。

0 投票する
1 に答える
165 参照

python - 丸めに関するPythonの奇妙な動作

質問は簡単です、なぜこれが:

浮動小数点の丸め誤差に関するものでなければならないことはわかっていますが、正式な説明が必要であり、このようなエラーを回避するにはどうすればよいですか?

P/s: Python 2.7.3、MacOSX、64ビットを使用しています

0 投票する
2 に答える
1130 参照

.net - 結果を四捨五入せずに 2 桁の小数点を除算する

私が開発しているプログラムの結果に問題があります。

たとえば、私が 8672.59 の数を持っていて、それを 2 に分割したい場合、結果は 4336.295 になるはずです。問題は、2 つの数値を追加したときに正しい金額を取得できるように、結果を四捨五入して 2 桁の小数点に変換する方法です..

例。

8672.59 / 2 = 4336.295

2 桁の小数点以下を四捨五入すると、結果は4336.30になります。

四捨五入せずに 2 桁の小数点に変換して、2 を掛けると結果が8672.60 ではなく8672.59になるようにするにはどうすればよいですか?

ありがとう!

0 投票する
1 に答える
80 参照

sorting - Fortran90 プログラムが許可なく数値を丸めているようで、出力が乱れています

私は、グラフ化するポイントを含む入力ファイルを取得し、それらのポイントをソートし、x と y の最小値と最大値を計算し、これらすべてを別のファイルに出力し、グラフを作成する Fortran90 プログラムを作成中です。それも印刷します。

ここまでで、最小値と最大値を計算し、すべてファイルに出力しました。
プログラムの構造は次のとおりです。

Please enter an input file:

GRAPH3.txt

Please enter an output file:

output.txt

そして、GRAPH3.txt からデータを取得し、処理を行い、印刷します。

GRAPH3.txt は次のようになります。

最初の数字は、ポイントの数を示します。残りは単なる数字のペアです。

プログラムを実行すると、これが私の出力です。

明らかに のyminはずですが1.00、 に表示されてい0.00ます。なぜこれを行うのか分かりますか?

これが私のプログラムです:

私が発見したもう 1 つの問題は、並べ替えサブルーチンから書き込みステートメントを削除すると、何らかの理由でプログラムがまったく並べ替えられないことです。なぜそれを行うのか、手がかりはありますか?

0 投票する
1 に答える
227 参照

ruby - Ruby の浮動小数点数の減算が間違っていますか?

次の Ruby ルーチンで結果として 2.0 が得られる理由を誰か説明できますか? フロートを丸めることがエラーの原因だと思います。

同じエラー?

Ruby 1.9.3p448 (2013-06-27) [i386-mingw32] を実行しています。

0 投票する
4 に答える
4142 参照

asp-classic - ASP の丸め誤差 (vbscript)

私は、ASP や Vb スクリプトについてほとんど知りません。従来の ASP で記述されたプロシージャが予期せず小さい奇数に丸められるというエラーのトラブルシューティングを試みています。

私が理解しているように、 Round() は「偶数に丸める」必要があります。720 * 51 / 160 = 229.5 であるため、Round(720 * 51 / 160, 0) は 230 になります。ただし、ASP ページは常に 229 を返します。

実際の ASP コードを以下にコピーします。このインスタンスの変数は次のとおりです。

あなたが提供できる助けに感謝します。

ありがとうございました。