C#使用float类型进行计算的时候出错，难道是精度原因？详情见调试

2013-08-31 08:18:07 1.2k 阅读 AI 写同款 · GEO 优化AI 选题数据监测一键分发 ›

SQL数据类型避坑指南：存储、精度与跨语言映射实战 SQL数据类型是数据库设计的基石，其本质关乎存储效率、计算精度与系统间数据契约。从VARCHAR长度选择引发的索引失效，到FLOAT浮点误差导致的金融计算偏差，再到DATETIME2与Java LocalDateTime映射时的毫秒截断，每类问题都源于对底层存储结构和跨语言转换规则的理解缺失。掌握DECIMAL(18,2)的定点精度保障、NVARCHAR的Unicode安全边界、DATETIME2(n)的纳秒级可控精度，是构建高可靠OLTP系统的关键技术能力。本文聚焦SQL Server，覆盖字符串、数值、阅读详情

一个本来应该得到205.0的数却得到了204.999985的结果
于是我在调试的时候用几种方法算了一下，结果是这样的
首先说明里面的参数
arraylist对应的那个值为8.2

如果不用(float)会说缺少强制转换

然后YSlice的值是0.4

所以82/0.4的结果应该是20.5

但是*10以后结果本应该是205.0，却成了204.999985

我直接把8.2/0.4的结果拿来*10又没有问题，说明问题出在8.2/0.4*10上

直接/0.4也是不对的，说明不是变量引用的问题

直接*25也没有问题

*10/0.4也出现问题，说明就是这两个一起的时候会有问题

这种情况该怎么解决啊

...全文

【CTFhub】——hate_php2021 【CTFhub】——hate_php2021 阅读详情

C_sharp_初学者

C# 111,129 成员 642,538 内容

+ 关注 + 加入社区

切换为时间正序

tcmakebest 2013-09-01

打赏
举报

float 是单精度，应该用双精度的 double，但也只是误差小很多。

stonespace 2013-09-01

打赏
举报

这不是错误，而是误差，float只有6~7位有效数字，所以在小数点后第四位出现误差是完全正常的，如果嫌误差太大，可以用double，

C_sharp_初学者 2013-08-31

打赏
举报

引用 9 楼 soaringbird 的回复:

[quote=引用 6 楼 u011304925 的回复:] [quote=引用 3 楼 rui_china 的回复:] 用decimal

要用来花曲线，DrawLine参数是int和float啊[/quote] 计算过程中用decimal，画线时强转一下即可。decimal的精度比float和double要高，虽然不是绝对安全的，但是基本上能满足你的要求，在你找到如何避免累积误差的解决方案之前。[/quote] 我用double计算，画图的时候强制转换成float就满足需求了只是现在又有别的问题了，哎不过是计算方法的问题，自己琢磨吧

soaringbird 2013-08-31

打赏
举报

引用 6 楼 u011304925 的回复:

[quote=引用 3 楼 rui_china 的回复:] 用decimal

要用来花曲线，DrawLine参数是int和float啊[/quote] 计算过程中用decimal，画线时强转一下即可。decimal的精度比float和double要高，虽然不是绝对安全的，但是基本上能满足你的要求，在你找到如何避免累积误差的解决方案之前。

C_sharp_初学者 2013-08-31

打赏
举报

大概几十个数据里就两个出这问题，真蛋疼

C_sharp_初学者 2013-08-31

打赏
举报

引用 5 楼 sp1234 的回复:

建议你找一本《计算方法》的教科书看看，看第一章的概念就够了。你可以看看假设两个数的误差是a和b，那么他们的加减法的累计误差是多少；假设是除法，那么累计误差又是多少？！ float只有7位有效数字，也就是说古老的简易计算器的计算精度。当你多次计算，特别是在除数中使用误差数据，累计误差的增长必然很快。这个时候，你就应该改变计算公式，使用一个理论上结果一样、但是累计误差最小的公司。

果然是float精度引起的误差么，但是为什么分步算没有问题，写一行里就出问题啊

C_sharp_初学者 2013-08-31

打赏
举报

引用 3 楼 rui_china 的回复:

用decimal

要用来花曲线，DrawLine参数是int和float啊

以专业开发人员为伍 2013-08-31

打赏
举报

建议你找一本《计算方法》的教科书看看，看第一章的概念就够了。你可以看看假设两个数的误差是a和b，那么他们的加减法的累计误差是多少；假设是除法，那么累计误差又是多少？！ float只有7位有效数字，也就是说古老的简易计算器的计算精度。当你多次计算，特别是在除数中使用误差数据，累计误差的增长必然很快。这个时候，你就应该改变计算公式，使用一个理论上结果一样、但是累计误差最小的公司。

C_sharp_初学者 2013-08-31