社区
VB基础类
帖子详情
Double型相减的问题
lywei123
2005-03-03 09:05:09
Private Sub Command2_Click()
Dim a As Double
Dim LdNum1 As Double
Dim LdNum2 As Double
LdNum1 = 11111111.1
LdNum2 = 11111111
a = LdNum1 - LdNum2
End Sub
请问怎么才能让a = 0.1 呢?如果a可能有4位以上的小数时呢?
...全文
234
7
打赏
收藏
Double型相减的问题
Private Sub Command2_Click() Dim a As Double Dim LdNum1 As Double Dim LdNum2 As Double LdNum1 = 11111111.1 LdNum2 = 11111111 a = LdNum1 - LdNum2 End Sub 请问怎么才能让a = 0.1 呢?如果a可能有4位以上的小数时呢?
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
7 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
viena
2005-03-04
打赏
举报
回复
用Currency最多只能有4位小数,假设有6位小数的话,可以把这个数看作是实际值的100倍
viena
2005-03-04
打赏
举报
回复
要使运算精确,最好用定点类型
可以用Currency,64位定点数,是精确的,但最多只能有4位小数
viena
2005-03-04
打赏
举报
回复
二存储位数是有限的,要舍去后面部分,必然会产生结果误差~
viena
2005-03-04
打赏
举报
回复
计算机的数是二进制存储的
十进制有限小数,转为二进制可能就是无限小数
viena
2005-03-04
打赏
举报
回复
浮点运算不精确,除非小数部分是2的N次方分之一的和
xmuyyd
2005-03-04
打赏
举报
回复
Private Sub Command2_Click()
Dim a As Double
Dim LdNum1 As Double
Dim LdNum2 As Double
LdNum1 = 11111111.1
LdNum2 = 11111111
a = format((LdNum1 - LdNum2),"0.0")
End Sub
ZWB_ZYN
2005-03-03
打赏
举报
回复
round函数
Private Sub Command2_Click()
Dim a As Double
Dim LdNum1 As Double
Dim LdNum2 As Double
LdNum1 = 11111111.1
LdNum2 = 11111111
a = round((LdNum1 - LdNum2),1)
End Sub
对于两个相同的
double
类
型
的数
相减
结果不等于0解决方案
在回归树生成中,遇到两个相同
double
型
变量
相减
结果非零的
问题
。原因是计算机存储浮点数存在精度误差。解决方案是设定一个精度范围,如(-0.00001, 0.00001),当差值在此范围内时,视为0。
关于qsort使用时出现的一个
问题
本文深入探讨了在使用C编译器函数库中的快速排序函数qsort时,对
double
型
数组进行排序时可能出现的
问题
。通过具体实例说明了
double
型
相减
可能导致返回值为零的情况,并提供了正确的解决方法。
洛谷P1378 油滴扩展
本文探讨了一种解决点集包围盒
问题
的方法,通过调整
相减
精度和使用
double
类
型
数据的科学计数法,以确保算法的正确性和效率。核心在于理解
double
型
数据的表示和转化,以及在搜索过程中的优化技巧。
C语言之再识指针【中】(详细版)
本文深入探讨了C语言中的指针运算,包括不同类
型
指针加1的影响,如int、
double
和char
型
指针。通过示例展示了指针与整
型
的加减运算,以及指针解引用对不同类
型
数据的影响。此外,还阐述了指针与数组的紧密关系,指出数组名实为指向首元素的指针,但不检查数组边界,易引发越界
问题
。最后,文章讨论了指针减指针运算,指出同类
型
指针
相减
的结果是数据元素的个数,并能用于比较指针的位置。
两个
double
相减
_
double
类
型
相减
有小数误差
博客指出两个
double
类
型
数值
相减
会出现误差,原因是
double
转换为二进制时有效位数为16位,存储小数位数不够。同时给出了使用BigDecimal类进行
double
类
型
数值加、减、乘、除运算及四舍五入的Java代码示例,以解决运算误差
问题
。
VB基础类
7,787
社区成员
197,583
社区内容
发帖
与我相关
我的任务
VB基础类
VB 基础类
复制链接
扫一扫
分享
社区描述
VB 基础类
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章