社区
C#
帖子详情
浮点数运算不解之谜?
CNXAWB
2004-11-25 11:51:33
浮点数运算时,系统会产生误差,如下:
double oo = 19.6D;
double pp = oo * 100D;
pp期望结果:1960.0
pp实际结果:1960.00000000002
为什么,怎么解决,实在不解!
要知道,在对数值精度和正确性要求非常高的系统里,这可能是致命的错误啊!
...全文
57
2
打赏
收藏
浮点数运算不解之谜?
浮点数运算时,系统会产生误差,如下: double oo = 19.6D; double pp = oo * 100D; pp期望结果:1960.0 pp实际结果:1960.00000000002 为什么,怎么解决,实在不解! 要知道,在对数值精度和正确性要求非常高的系统里,这可能是致命的错误啊!
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
2 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
fireyan
2004-11-25
打赏
举报
回复
真这样啊?恐怖
gqchen1981
2004-11-25
打赏
举报
回复
取其精度吧!double一般到13位左右就不是原来值了!
float也是的!
TensorFlow Lite移动端开发
位浮点数转换为更高效的 8 位整数进行量化,以到达模型快速运算的效果 . 伴随着深度学习技术的广泛使用,越来越多的深度学习模型被部署到移动端或IoT设备上运行,对于从事人工智能研发的相关人员,掌握...
雷神之锤III》里求平方根倒数的函数(快速平方根(倒数)算法)
其实现在随着FPU的提升和对向量运算的硬件支持,大部分系统上都提供了快速的sqrt实现。如果是处理大批量的向量的话,据说最快的方法是使用SIMD(据说而已,我压根不懂),可同步计算4个向量。 --------------------...
面试集锦之js
比之 MVC 有什么区别?什么又是 MVP ? 109. vue 双向数据绑定原理? 110. Object.defineProperty 介绍? 111. 使用 Object.defineProperty() 来进行数据劫持有什么缺点? 112. 什么是 Virtual DOM?为什么 Virtual ...
C谜题解释
浮点数加减法有很多让人意想不到的东西,特别是大数与小数相加时,所以出书f is NOT 1.0就是不足为奇了. 第十道题: I thought the following C program is perfectly valid (after reading about the comma...
java解惑
Java谜题1——表达式谜题谜题1:奇数性下面的方法意图确定它那唯一的参数是否是一个奇数。这个方法能够正确运转吗? public static boolean isOdd(int i){ return i % 2 == 1;...它在四分之一的时间里
C#
110,538
社区成员
642,577
社区内容
发帖
与我相关
我的任务
C#
.NET技术 C#
复制链接
扫一扫
分享
社区描述
.NET技术 C#
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
让您成为最强悍的C#开发者
试试用AI创作助手写篇文章吧
+ 用AI写文章