关于计算精度的问题

[lookat800]

今天遇到个棘手的问题，就是用5位的decimal型减double型结果出乎我的意料0.9394899999999991
正常人计算都知道是0.93949.
请高手解答为什么~
不要笼统的答哦~

[xiguofeng]

declare @dec decimal(5,2)
declare @dbl float

select @dec=222.22,@dbl=123.2333223
select  @dec-@dbl,cast(@dec-@dbl as decimal(5,2))
---------------------- ---------------------------------------
98.9866777             98.99

(1 行受影响)

减去一个浮点型的小数,应该向浮点数最多的匹配

[lookat800]

declare @dec decimal(5,5)
declare @dbl float

select @dec=6.81664,@dbl=5.87715
select @dec-@dbl,cast(@dec-@dbl as decimal(5,5))
二楼的同志你算下这个

[lookat800]

搞这个问题弄了一个星期了 ~~ 哭

[xiongxiao]

避免这种计算问题，在设计阶段应该不要使用float与double这些浮点类型的字段或变量，否则结果就会象楼主你自己说的一样变得不可预测

浮点类型的计算在电脑中会存在精度表示问题，很有可能1.00也会变成0.9999999999999999

[xiongxiao]

lz, 都说了只要有float或double这样类型的东西参与计算就会出现你说的那种情况，一般来说完全可以用dec类型代替float或double

[Mr_Bean]

这个地确是2楼所说的问题 如果一定要一致就采取强制转化的方法

[lookat800]

关键是现在我做的是datastage，我用datastage算出来的是正确的值，db2 run出来的和datastage不一样，不能和客户交差~~