floating-point 相关问题

浮点数是实数的近似值，可以表示比整数更大的范围，但使用相同数量的内存，代价是精度较低。如果您的问题是关于小算术错误（例如为什么0.2 + 0.1等于0.300000001？）或十进制转换错误，请在发布之前阅读下面链接的“信息”页面。

Excel：输入的数字与显示的数字与内存中存储的数字

excel如何确定要显示的内容？特别是小数位数例如： 50.98，当存储为单精度浮点数时为 50.979999542236328125 50.979999 也是...

excel floating-point

回答 3 投票 0

如何在 Go 中将 Math.Pow 与整数一起使用

我不断收到错误：不能在 math.Pow 的参数中使用 a（int 类型）作为 float64 类型，不能在 math.Pow 的参数中使用 x（int 类型）作为 float64 类型，无效运算：math.Pow(a, x) % n (

go floating-point type-conversion integer

回答 5 投票 0

修复浮点错误

是否有人有一个方便的脚本来纠正具有以下值的浮点列中的浮点错误： -0.369999999999999 0.19999999999999 哪个应该是 -0.37 和 0.2？我想运行更新...

sql-server floating-point

回答 1 投票 0

为什么 Python 的 sum() 和 Pandas 的 sum() 会产生不同的结果

为什么 Pandas sum() 和 Python sum() 在浮点数列表上产生略有不同的结果，在对结果进行舍入时产生差异 >>> 将 pandas 导入为 pd >>...

python pandas sum floating-point precision

回答 1 投票 0

修复MSSQL中的浮点错误

是否有人有一个方便的脚本来纠正 MSSQL Server FLOAT 列中的浮点错误，该列的值如下： -0.369999999999999 0.19999999999999 哪个应该是 -0.37 和 0.2 ？我想要...

sql-server floating-point repair

回答 1 投票 0

我可以截断 10 字节“扩展”数字并转换为 8 字节双精度吗？

我正在使用 AIFF 文件，其中包含定义采样率的 80 位“扩展”格式值。因为我选择的语言 R 和我的桌面 Mac 本身都不支持...

r floating-point type-conversion

回答 1 投票 0

在php中将浮点数转换为字符串？

喜欢：浮动（1.2345678901235E+19）=>字符串（20）“12345678901234567890” 能做到吗？（用于 json_decode...）

php string floating-point type-conversion

回答 7 投票 0

随着样本数量的增加，Pi 变得不准确

当我将第 28 行的值（我用箭头指出的）从 0.00001 更改为 0.000001 时，Pi 的值变得不准确。对于我来说，提高精度将如何产生效果是违反直觉的……

c++ floating-point pi

回答 1 投票 0

如何在 Ruby 中将浮点数四舍五入到指定的有效数字位数？

如果在 Ruby 中拥有与 R 的signif 函数等效的功能那就太好了。例如： >> (11.11).signif(1) 10 >> (22.22).signif(2) 22 号 >> (3.333).signif(2) 3.3 >> (4.4).signi...

ruby floating-point significant-digits

回答 8 投票 0

我看不懂机器epsilon算术

我知道结果接近于零的算术运算有时可能是非关联的。这直接来自机器 epsilon 的定义。然而，我决定测试另一个EQ...

floating-point computer-science numerical-methods calculation epsilon

回答 1 投票 0

如何在java中将float转换为bigDecimal？

java floating-point bigdecimal

回答 4 投票 0

如何接受整数和浮点值作为输入？

如何让Python同时接受整数和浮点数？我就是这样做的： def aud_brl(金额,从,到): ER = 0.42108 如果金额 == int：如果 From.strip() == 'aud' 且 to.strip() == 'b...

python python-3.x floating-point integer user-input

回答 7 投票 0

浮点和定点表示的优点和缺点[关闭]

过去三天我一直在尝试理解浮点表示和定点表示之间的确切区别。我对阅读材料感到困惑，无法决定什么是......

floating-point fixed-point

回答 4 投票 0

如何手动将浮点数的fprintf十六进制表示转换为十进制

fprintf 和 snprintf 中浮点数的十六进制表示形式似乎采用以下形式（使用 A 作为格式说明符）： 0XH.HHHHP[+-]d ，其中十六进制位数 t...

c floating-point hex

回答 1 投票 0

mips 编程中的浮点数

我正在 mars 4.5 上进行 mips 编程。这是示例代码：。数据一半：.float 0.1 。文本 l.s $f12，一半 li $v0, 2 系统调用我的目的是打印数字 0.1，a...

assembly floating-point mips

回答 1 投票 0

自定义评论星级图像未正确显示

我在故事板中拍摄了 5 个图像视图并连接了插座，如下所示： @IBOutlet var starRatingImageViews：[UIImageView]！我从 JSON 中获取字符串值进行评级，如下所示：评级=&...

swift for-loop floating-point uiimageview

回答 2 投票 0

Python 和 C++ long double 给出不同的结果

我正在尝试调试一段 C++ 代码和另一段返回不同结果的 Python 代码之间的不一致。总的来说，我一直期待浮点运算

python c++ numpy floating-point precision

回答 1 投票 0

如何检测由于浮点加法和乘法舍入而导致的精度损失？ [已关闭]

从计算机系统：程序员的角度：使用单精度浮点表达式 (3.14f+1e10f)-1e10f 的计算结果为 0.0：值 3.14 由于舍入而丢失。表达式 (

c floating-point rounding numerical-methods underflow

回答 1 投票 0

在浮点中实现pow()函数的最有效方法

我正在尝试实现我自己版本的 pow() 和 sqrt() 函数，因为我的自定义库没有 pow()/sqrt() 浮点支持。有人可以帮忙吗？

c++ c floating-point math

回答 8 投票 0

如何在MIPS中查看浮点除法中的余数？

我正在尝试在 MIPS 中除以 2（我正在使用 PCSPIM）。基本上我在寄存器（$f0）中有一个数字，已加载。经过一些操作后，我想将这个数字除以 2，并检查是否...

floating-point mips division

回答 1 投票 0

floating-point 相关问题

最新问题