問題タブ [decimal]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票する
7 に答える
64285 参照

.net - 小数精度の調整、.net

C# のこれらの行

次の出力が生成されます。

したがって、リテラルから 10 進変数を作成すると、精度を制御できることがわかります。

  • リテラルを使用せずに 10 進変数の精度を調整できますか?
  • a から b を作成するにはどうすればよいですか? c から b を作成するにはどうすればよいですか?
0 投票する
3 に答える
3223 参照

.net - .net を丸めずに 10 進数の書式設定

昨日、小数とその内部精度に関する一般的な質問をしました。これは、私が対処しようとしているシナリオに関する特定の質問です。

入力されたSqlServerに列があります-decimal(18,6)。これらの値を取得すると、作成される .net 10 進数がデータベースの精度と一致します。それらは次のようになります。

これらの値を次のルールに従って提示 (ToString) する必要があります。

  • ゼロ以外は常に表示されます。
  • 小数点以下第 n 位までの後続ゼロが表示されます。
  • 小数点以下第 n 位以降のゼロは表示されません。

だから、これは私が n が 3 のときに欲しいものです:

ここで、ToString が小数であるというコードをいくつか書きました。末尾のゼロをすべて削除し、文字列を分析して小数点を探し、小数点以下の桁数を数えて、末尾のゼロを何個戻す必要があるかを確認します。 これを達成するためのより良い方法はありますか?

また、上記の質問で ToString と言ったことは知っていますが、データ アクセス レイヤーから出る途中で小数を変更できれば、消費者は常に適切な精度で小数を取得できます。文字列を操作せずに、10 進数自体でこの操作を実行することは可能ですか?

0 投票する
9 に答える
12207 参照

c++ - C / C ++は、特定の精度で小数を効率的に切り上げます

私は以下を最適化しようとしています。以下のコードはこれを行います:

a = 0.775 で精度 2 dp が必要な場合、a => 0.78

基本的に、最後の桁が 5 の場合は次の桁を切り上げますが、そうでない場合は切り上げません。

私の問題は、値が 0.44999999343.... として保存され、setprecision が 0.4 に丸められるため、0.45 が小数点 1 で 0.5 に丸められないことでした。

そのため、setprecision をより高くする必要がsetprecision(p+10)あり、実際に 5 で終わる場合は、正しく切り上げるために少量を追加します。

完了すると、a と文字列 b を比較し、結果を返します。問題は、この関数が数十億回呼び出され、プログラムがクロールすることです。これを書き換え/最適化する方法と、コード内のどの機能がマシンに非常に重いかについて、より良いアイデアはありますか?

0 投票する
4 に答える
14005 参照

c# - 数値の小数部と小数点以下の桁数を取得する(C#)

数字の小数部分だけを取得するエレガントな方法を知っている人はいますか?特に、小数点以下の正確な桁数を取得して、数値を適切にフォーマットできるようにすることを目指しています。カルチャ固有の小数点記号を使用して文字列を抽出せずにこれを行う方法はないかと思いました。

たとえば、
98.0は98としてフォーマットされます。98.20は
98.2として
フォーマットされます。98.2765は98.2765としてフォーマットされます。

0 投票する
1 に答える
22062 参照

math - VisualBasic6.0の10進データ型

非常に大きな数で計算(除算または乗算)を行う必要があります。現在、私はDoubleを使用しており、値の丸めの問題を取得しています。Decimalタイプを使用して、C#で同じ計算を正確に行うことができます。VB6.0で正確な計算を行う方法を探していますが、VB6.0でDecimal型が見つかりませんでした。

大きな値で浮動小数点の四捨五入の問題を起こさずに算術計算を行うために使用されるデータ型は何ですか?

0 投票する
7 に答える
502921 参照

c# - 10進数と2倍!- どれをいつ使用すればよいですか?

C# で double を使用している人をよく見かけます。double が精度を失うことがあることをどこかで読んだことは知っています。私の質問は、いつ double を使用し、いつ decimal 型を使用する必要があるかということです。お金の計算に適した型は? (つまり、1 億ドル以上)

0 投票する
2 に答える
3275 参照

android - sqliteを使用してAndroidで整数を表示する

小数を含むデータベースがあります。列は「..decimal(5,2)not null」として設定されています。私がやろうとしているのは、列の合計を見つけて、このコードを使用してテキストフィールドに表示することです。

ただし、返される場合、値は整数です。20ではなく20.75のようになります。

私はSQLiteにあまり詳しくないので、助けてください。

0 投票する
6 に答える
1394 参照

mysql - Mysql の計算の問題: 1+1=1.999999999

問題は、テーブルからビューに 2 つ以上の double を追加すると、正しい結果が得られる代わりに、約 10 桁以上の数字が追加されることです。たとえば、0.5+1.5=1.99999999998 または 5.5+8.5=14.0000000001 です。何か案は?(私はこれが一種の未熟な質問であることを知っており、9 年生の試験でそのようなものに対処しなければならなかったことを覚えていますが、当時どのようにそれを行ったかを思い出せません :P)

0 投票する
1 に答える
2541 参照

xslt - xsl 小数点を切り捨てる

数値の表示方法を変更しようとしている xsl を含む xml ファイルがあります。xml では、すべての数字が 00:12:34 の形式になっています。

最初の 2 つのゼロとコロンを削除して、12:34 と表示するだけです。

部分文字列を使用するのか、10 進形式を使用するのかわかりません。私はこれにかなり慣れていないので、どんな助けも素晴らしいでしょう。

xsl のコードは次のとおりです。

0 投票する
4 に答える
747 参照

c# - 「$1,250.00」のような文字列を受け入れて、C# で 10 進数に変換するにはどうすればよいですか?

「$1,250.00」のような文字列を受け入れて、C# で 10 進数に変換するにはどうすればよいですか?

replace("$", "") and (",", "") を実行するだけですか、それともこの種の入力を処理する別の方法がありますか?