precision 相关问题

有关编程中数值精度的问题。对于分类精度，请使用标签[precision-recall]。

为什么计算机科学中的“(eps * 0.5) + 1”不大于“1”？

我正在学习Matlab，我不明白为什么(eps * 0.5) + 1不大于1。每股收益答案= 2.220446049250313e-16 fprintf('%.52f '，eps）； 0.

matlab math floating-point precision epsilon

回答 1 投票 0

在Python中什么条件下`str(float(val)) == val`不成立

对于像“1.2345”这样的字符串 val 变量，assert str(float(val)) == val 总是成立吗？我已经发现它并不总是成立 >>> str(浮点('1.2345')) '1.2345' >>> ...

python floating-point precision

回答 1 投票 0

学生 cdf 和普通 ppf 精度

有没有办法提高 scipy.stats 函数norm.pdf 和 t.cdf 的精度？因为如果我这样做它会起作用：从 scipy.stats 导入范数，t 范数.ppf(t.cdf(9, 140)) 但如果我这样做

scipy python-3.7 precision scipy.stats

回答 1 投票 0

获取float64进行numpy计算

def chi2_distance(a,b): d=1-(np.dot(a,b)/(范数(a,轴=1)*范数(b))) 返回d a 和 b 是 float32，最多有 8 位小数。但我希望计算精度为 16 位小数。作为...

numpy decimal precision

回答 1 投票 0

Python numpy float16 数据类型操作和 float8？

对 float16 Numpy 数字执行数学运算时，结果也是 float16 类型数字。我的问题是结果到底是如何计算的？假设我正在将两个 float16 数字相乘/相加...

python numpy floating-point precision

回答 2 投票 0

SymPylambdaify 给出错误的结果，而 *.subs 给出准确的结果

很抱歉打扰您。我有一个严重的问题，现在我正在努力解决它，所以这是我的问题。我有一个问题，我对数量进行了羔羊化，但数量的结果不同......

python math sympy precision

回答 2 投票 0

C# 格式化浮点舍入/精度问题：N2 与 0.00

在 C# (.Net 7) 中：浮动a = 13082987520.00f; Console.WriteLine(a); Console.WriteLine($"{a:N2}"); Console.WriteLine($"{a:0.00}"); 我得到： 1.3082988E+10 13,082,987,520.00 1308299000...

c# floating-point precision

回答 2 投票 0

PIRLS 步骤减半，lme4 中带有 cloglog 链接

我使用 lme4::lmer() 和 family = binomial(link = cloglog) 时收到 PIRLS 减半错误。在我看来，我生成的数据可能是下面的模型过于复杂的，这可能......

optimization precision lme4

回答 1 投票 0

JAVA17 vs JAVA8 双重表示

在2个不同的JVM（JDK8和JDK17）之间进行平均时，相同值存在差异的原因是什么？那是因为浮点数吗？或者 2 之间发生变化的其他内容

java floating-point jvm precision

回答 1 投票 0

计算 32 位浮点表示和相关损失的快速方法

我正在处理来自高精度系统的给定范围（即经度和纬度）的实数，这会给我很多小数（通常为 15 位，当然加上最多 t...

floating-point precision

回答 1 投票 0

单精度浮点数的精度（IEEE 754 标准）

在根据 IEEE 754 标准的数字的单精度浮点表示中，我们使用 24 位作为尾数部分（23 位 + 1 个隐含位）。所以精度可以计算为2^...

floating-point binary precision ieee-754

回答 1 投票 0

ULP 最小精度单位

谁能解释一下最不精确的 ULP 单位？我有以下定义，但仍然不清楚 “表示分数时误差的大小与 n 的大小成正比......

testing math precision fractions

回答 2 投票 0

确保计算返回的坐标完全相同

我在一个大圆上以 0、90、180、270 度角放置了 4 个小圆。我希望javascript为红色和蓝色圆圈返回完全相同的y（因为移位是水平的，y是相同的，但是x

javascript svg geometry precision

回答 1 投票 0

gfortran REAL 不精确到小数点后 8 位[重复]

此问题之前尚未得到解答。我试图在 Fortran 中正确表示实数或任何数字。 gfortran 为我做的事情还很遥远。例如，当我拒绝...

fortran precision fortran90 gfortran real-datatype

回答 2 投票 0

如何在双精度算术中正确舍入到最接近的整数

我必须使用Python3（PyPy实现）分析大量数据，其中我对相当大的浮点数进行一些操作，并且必须检查结果是否足够接近整数。举个例子...

python-3.x precision floating-accuracy pypy double-double-arithmetic

回答 1 投票 0

numpy `arange` 超过最终值

我原以为 numpy 的 arange(start, end) 会产生 [start, end] 范围内的值。下面的示例表明这并不总是正确的（最终值大于 end）：导入...

python numpy range precision

回答 1 投票 0

在没有上溢和下溢的情况下，对于浮点数 x，x/4 是否始终等于 x/2/2（也适用于 x*4 == x*2*2）？

例如，据我所知，一个浮点x，其中x/n^2可能不等于x/n/n，因为在x/n/n中，这会首先创建一个中间x/n。例如：文档.write(1.23456789/49 == 1.23...

javascript floating-point precision floating-accuracy

回答 1 投票 0

python ctypes 精度

我正在使用 ctypes 创建 C++ 库 (.so) 的包装器。我在论证的精确性方面遇到了一些麻烦。当我将 math.pi 作为双精度值传递时，我只得到

python c++ double precision ctypes

回答 1 投票 0

C++ 中算术运算和转换的机器值

我是 C++ 编程新手。我想知道 C++ 中以下简单操作的结果会获得什么可能的机器值：整数a = 3; 双 inv_a； inv_a = (双) 1 / (双...

c++ floating-point precision

回答 1 投票 0

C/C++ 中算术运算和转换的机器值

我是 C/C++ 编程新手。我想知道 C/C++ 中以下简单操作的结果会获得什么可能的机器值：整数a = 3; 双 inv_a； inv_a = (双) 1 / (d...

c++ c floating-point precision

回答 1 投票 0

precision 相关问题

最新问题