問題タブ [precision]

各月の従業員のスコアの平均を合計すると、従業員のスコア (これまで) の平均と等しくならないのはなぜですか?

平均

80.737 を返します

月別平均

戻り値

手動で記録を集計して平均を計算したので、80.737 が正しいことはわかっています。しかし、この表の平均 (小数点以下 3 桁) は 80.56 であり、これはあまりにもかけ離れています。グループごとに各ステ​​ップで丸めを混乱させますか?

これを Visual Studio 2008 のイミディエイト ウィンドウに入力すると、次のようになります。

? .9 - .8999999999999995

それは私に答えとしてこれを与えます:

0.00000000000000055511151231257827

ドキュメントによると、double の精度は 15 ～ 16 桁ですが、32 桁の精度で結果が得られます。余分な精度はどこから来るのでしょうか?

ユーザーのキーをマシンの初期構成に保存する必要があるプロジェクトでプログラミングしています。C# で記述したいと考えています。

2 つの数値 R と X0、R = 3.9988、X0 = 0.5 で構成される初期構成があります。これらの番号にユーザー キーを追加します。例えば：

キー: hos110 =>

• R = 3.9988104111115049049048
• X0 = 0.5104111115049049048

104111115049049048 は連結されたキーの ASCII コードです。

これらの数値をどのように保存できますか?

これを行うためのより良い方法はありますか？

更新: MATLAB はどうですか?

私は、Java と SQL Server の精度の悪夢に悩まされてきましたが、もうわからないほどです。個人的には、この問題とその根底にある理由は理解していますが、地球の反対側にいるクライアントにそれを説明することは (少なくとも私にとっては) 不可能なことです。

状況はこうです。SQL Server には、Qty INT と Price FLOAT の 2 つの列があります。これらの値は 1250 と 10.8601 であるため、合計値を取得するには、その数量 * 価格と結果は 13575.124999999998 になります (Java と SQL Server の両方で)。そのとおりです。問題はこれです - クライアントはそれを見たくないのです。彼らはその番号を 13575.125 としてしか見ません。それだけです。ある場所では 2 桁の精度で表示され、別の場所では 4 桁の精度で表示されます。10 進数 4 桁で表示する場合、数字は正しい - 13575.125 ですが、2 桁で表示する場合、間違っていると信じています - 13575.12 - 代わりに 13575.13 にする必要があります!

ヘルプ。

「35444650.00」をフロートとして MySQL に入力すると、35444648.00 に再フォーマットされ続けます。

今日の問題は次のとおりです。Oracle データベースにテーブルがあります。テーブルには Number(18, 3) 型のフィールドが含まれています。

表面的には、フィールドからのデータの保存と読み込みの両方が完全に機能します。しかし、さらに調べてみると、500.001 などの 3 桁の 10 進数を含む数値は、10 進数の文字列表現が 4 番目のゼロ桁 (500.0010 など) を持つようにデータベースから読み取られることがわかります。これは、10 進数の 3 桁目がゼロ以外の場合に発生するようです。

数学的には、これは問題ではありません。ただし、10 進数を文字列に変換してから 10 進数の桁数をカウントすることで、10 進数の 10 進数の桁数を検証するバリデーターがあります。この特定のデータは、最大 3 桁の 10 進数を持つように定義されているため、余分なゼロは検証エラーの原因になります。

バリデーターを変更できないので、数値を文字列に変換し、末尾のゼロをトリミングしてから再解析する以外に、余分なゼロなしで小数を取得するクリーンな方法があるかどうか疑問に思っています。それとも、まったく別のことをする必要がありますか?

小数点以下の要素が異なるベクトル データを使用して画像やグラフィックを作成することはできますか? そしてもちろん、それが可能であれば...どうやって？

たとえば、ベクトルには 2 つのポイントがあり、ポイント 1 は {9.56, 4.1}、ポイント 2 は {3.456789,2.12345} です。

注: 精度は数値によって異なります。

これはプログラミングの質問というよりは数値分析ですが、あなた方の何人かはそれに答えることができると思います。

2つのフロートの合計で、精度が失われていますか？なんで？

浮動小数点数と整数の合計で、精度が失われることはありますか？なんで？

ありがとう。

totalAmountに対して得られる答えは、5.98ではなく5.97999554です。

なぜこうなった？