floating-point 相关问题

浮点数是实数的近似值,可以表示比整数更大的范围,但使用相同数量的内存,代价是精度较低。如果您的问题是关于小算术错误(例如为什么0.2 + 0.1等于0.300000001?)或十进制转换错误,请在发布之前阅读下面链接的“信息”页面。

是否可以对浮点算术错误中的 a 和 b 的值进行逆向工程,例如 (a -b) == 0.499,而它应该是 0.5?

在我的应用程序中,我计算经过的时间(a-b),得到0.4999978542327881(由python打印),我猜如果它没有被python四舍五入打印的话,它实际上是0.4999978542327880859375...

回答 1 投票 0

C# 中浮点数的 System.Text.Json 序列化问题

我在 C# 中遇到与浮点数序列化相关的 System.Text.Json 问题。当序列化带有小数部分的浮点数(例如 4.0)时,库似乎省略了

回答 1 投票 0

检查浮点类型是否是另一个浮点类型的超集

是否有一种标准的一致且可移植的方法可以在编译时检查一种浮点类型的所有值是否可以在另一种浮点类型中表示?还请考虑即将推出的...

回答 1 投票 0

Fortran CFD 代码中出现非数字

我正在尝试求解通过双收敛-发散喷嘴的流体流动的欧拉一维方程。 这是我的完整代码: 模块常量 双精度 ::GAM, GAMM1 ,

回答 1 投票 0

截断小数不四舍五入[重复]

可能的重复: c# - 如何将小数值四舍五入到小数点后两位(用于页面上的输出) 我想像下面这样截断小数 IE。 2.22939393 -> 2.229 2.22977777 -> 2.229

回答 10 投票 0

使用 AVX2 和 /fp:fast 的 Intel 2022 编译器出现 Nan 问题

我正在使用 @njaffa 的另一篇文章中描述的测试工具,尝试制作一个更快更准确的 erfc() 函数,这时我遇到了一个我仍然无法完全理解的特殊错误,并且

回答 1 投票 0

C中如何判断一个数是整数还是浮点数? [已关闭]

所以我是C的新手,我主要用它来制作概率计算器之类的东西。我当前的项目发现了 2 个值的增加和减少。 代码是: #包括 //

回答 3 投票 0

非正规毛刺的strtod边缘

我一直在查看一些代码,它们有一个奇怪的优化错误,在这个过程中,偶然发现了 strtod() 中的错误条件,它与 strtof() 具有不同的行为,就在边缘......

回答 1 投票 0

PHP 7.4 带浮点数/双精度类型的属性

如果这是一个蹩脚的问题,我提前道歉,这是我的第一次。 我正在为一个大学项目构建一个小型框架,我想尽可能多地强制执行类型,很高兴现在看到 PH...

回答 2 投票 0

身份负零

我需要知道此代码是否对计算有任何不利影响 MatrixXd A = -Matrix::Identity(); 它创建带有负数的单位矩阵。打印...

回答 1 投票 0

Java 中的 NaN 问题

我正在将四个字节转换为浮点数,结果得到 NaN,但我想要值 0.0。我究竟做错了什么? 这是我的代码: 公开课 abc { 公共静态无效主(字符串[] arg...

回答 3 投票 0

分解 C 中的 %5d%*.*f 格式说明符以实现精确的输出格式

我正在使用 C 语言处理格式化输出并遇到格式字符串 %5d%*.*f。虽然我了解整数 %d 和浮点数 %f 的基本用法,但我特别寻找

回答 1 投票 0

用 C++ 编写一个全精度浮点型[重复]

在 C++ 中,我可以以文本格式写入和读回浮点型(或双精度型)而不丢失精度吗? 考虑以下: 浮动 f = ...; { std::ofstream fout("文件.txt"); // 设置一些标志...

回答 4 投票 0

Ruby - 将小浮点数转换为字符串

我注意到小数字浮点数,例如 0.00000000345 最终会转换为科学记数法,即 3.45e-9。这是有道理的,但看起来如果我将浮点数转换为字符串(正如我所想的那样)

回答 1 投票 0

golang 在将 float32 转换为 float64 时丢失精度?

在Golang中,似乎当float64 var首先转换为float32然后再转换float64时,它的值会改变。 := -8888.95 fmt.Println(a) // -8888.95 fmt.Println(float32(a)...

回答 1 投票 0

向下转换浮点数时如何解释 numpy.ndarray.item() 返回的值

我使用空间数据,并且经常拥有最多只需要精确到小数点后几位的坐标,例如89.995。 一个简单的例子: 将 numpy 导入为 np arr = np.array([89.995]) 检验...

回答 2 投票 0

GTK fprint(%e) 用逗号而不是点书写的浮点数

因此,我正在创建一个小型太阳系模拟,并用 C 语言完成微积分。计算完成后,我将它们放入一个 json 文件中,该文件由网页读取。 我创建了一个函数来保存...

回答 2 投票 0

Pine 脚本:在 if 语句中使用绘制的值

我是结构编程语言的新手,我正在尝试制作一个基于 2 个随机振荡器的指标和策略,其中一个比另一个更快。 2 的交叉/低于值

回答 1 投票 0

pandas 的最小浮点数据类型/最小化变换大小

我有一个包含 17000 列和 50000 行整数值(~1 GB)的数据框。 我将数据帧的每一列除以列的总和(例如,标准化数据)。 我需要指定

回答 1 投票 0

检查变量是否包含浮点值

在R语言中,有没有可靠的方法来检查变量是浮点型还是整数值? 我查看了几个建议的解决方案。 is.integer(x) 的 R 帮助文件建议...

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.