floating-point 相关问题

浮点数是实数的近似值,可以表示比整数更大的范围,但使用相同数量的内存,代价是精度较低。如果您的问题是关于小算术错误(例如为什么0.2 + 0.1等于0.300000001?)或十进制转换错误,请在发布之前阅读下面链接的“信息”页面。

将浮点数格式化为小数点后两位

我目前正在为客户网站构建销售模块。到目前为止,我已经完美计算了销售价格,但我遇到的问题是将输出格式化为小数点后两位。 我是

回答 10 投票 0

即使使用缩放值,Javascript 金融浮点也会出现错误

据我所知,在 Javascript 中管理资金的最佳实践是将所有值缩放到尽可能低的面额(例如,12.45 美元按 100 缩放,在我们的

回答 1 投票 0

如何将方案中的非精确整数转换为精确整数

我想在子字符串函数中使用名为 split_point 的变量。我使用这些函数计算了分割点: (list (子串编号 0 split_point) (子串编号 split_point)) (德...

回答 1 投票 0

将 ASCII 代码点值存储在浮点数中可以防止将其解释为字符(在 C 中)

浮动c; c = 'a'; 而 (c <= 'z') { write(1, &c, 1); c++; } write() is data type-agnostic. It should deliver the correct code point values to the terminal. The terminal should then

回答 1 投票 0

python round 和 int 的区别

我已经玩了一段时间Python,我注意到一个奇怪的行为让我很好奇:float(int(n)) 和 round(n) 之间有什么区别? 我什么时候应该使用一个,而不是...

回答 3 投票 0

在Python中,什么表达式相当于`0x1.0p-53`?

我读到,当 xoshiro++ 在 C 中实现以在单位间隔内生成统一双精度数时,应使用表达式 (x >...

回答 1 投票 0

为什么C标准库没有isequal?

C标准库有:isgreater、isgreaterequal、isless、islessequal、islessgreater、isunordered。 为什么C标准库没有equal?应该很容易实现这样的: 布尔相等(

回答 1 投票 0

向 Apache IoTDB 插入数据时,如何避免数据类型自动从 int 类型转换为 float 类型?

我有一个关于 Apache IoTDB 的问题。在java中插入数据时,例如使用insertRecord方法,当数据类型为int时,如果我尝试将这些数据插入到IoTDB中,数据类型将

回答 1 投票 0

浮点数的表示方法

我想了解二进制格式的数字表示是什么,其中最大数字是1,而二进制格式(宽度为8位)是0_1111111。最小数量是...

回答 1 投票 0

C# 浮点运算和类型转换中的意外结果

我在 C# 代码中遇到了涉及浮点运算和整数类型转换的意外行为。这是代码的简化版本: 静态无效主(字符串[]参数) { 在...

回答 1 投票 0

HLSL:强制浮点运算顺序以防止舍入错误

在 HLSL 中编写着色器时,有时您可能会遇到非常大的浮点数,并且对于大浮点数,它们很难保持精度。当我写下打击代码时,我

回答 1 投票 0

创建包含字符序列的 nan 时,如何取回字符序列?

做的时候 const double d = std::nan ("你好"); 你会得到一个包含字符串“Hello”的 NAN。如何从变量 d 中取出该字符串?难道就没有符合标准的方法吗?这个

回答 2 投票 0

Excel:输入的数字与显示的数字与内存中存储的数字

excel如何确定要显示的内容?特别是小数位数 例如: 50.98,当存储为单精度浮点数时为 50.979999542236328125 50.979999 也是...

回答 3 投票 0

如何在 Go 中将 Math.Pow 与整数一起使用

我不断收到错误: 不能在 math.Pow 的参数中使用 a(int 类型)作为 float64 类型,不能在 math.Pow 的参数中使用 x(int 类型)作为 float64 类型, 无效运算:math.Pow(a, x) % n (

回答 5 投票 0

修复浮点错误

是否有人有一个方便的脚本来纠正具有以下值的浮点列中的浮点错误: -0.369999999999999 0.19999999999999 哪个应该是 -0.37 和 0.2?我想运行更新...

回答 1 投票 0

为什么 Python 的 sum() 和 Pandas 的 sum() 会产生不同的结果

为什么 Pandas sum() 和 Python sum() 在浮点数列表上产生略有不同的结果,在对结果进行舍入时产生差异 >>> 将 pandas 导入为 pd >>...

回答 1 投票 0

修复MSSQL中的浮点错误

是否有人有一个方便的脚本来纠正 MSSQL Server FLOAT 列中的浮点错误,该列的值如下: -0.369999999999999 0.19999999999999 哪个应该是 -0.37 和 0.2 ?我想要...

回答 1 投票 0

我可以截断 10 字节“扩展”数字并转换为 8 字节双精度吗?

我正在使用 AIFF 文件,其中包含定义采样率的 80 位“扩展”格式值。因为我选择的语言 R 和我的桌面 Mac 本身都不支持...

回答 1 投票 0

在php中将浮点数转换为字符串?

喜欢: 浮动(1.2345678901235E+19)=>字符串(20)“12345678901234567890” 能做到吗? (用于 json_decode...)

回答 7 投票 0

随着样本数量的增加,Pi 变得不准确

当我将第 28 行的值(我用箭头指出的)从 0.00001 更改为 0.000001 时,Pi 的值变得不准确。对于我来说,提高精度将如何产生效果是违反直觉的……

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.