关于精度的问题

wlwhhy 2004-03-09 11:00:51

如果数据要求精确到2位小数，那么你认为在数据库存设计时应取几位小数才比较合理？

...全文

78 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

本文介绍Java中浮点数遵循IEEE 754标准，阐述定点数与浮点数区别，以及单、双精度浮点数存储方式。分析浮点数精度问题原因，如尾数位数限制、部分浮点数无法精确表示。还指出精度可能造成计算和保留小数点位数问题，建议用BigDecimal进行精确计算。

同事遇到EXCEL自动求和与手动计算结果有差异的问题。经检查发现，从别处复制的数字虽显示为2位小数，但实际是6位小数，计算按6位进行，导致结果不同。通过示例说明后，介绍了解决办法，即勾选工具菜单选项中“以显示精度为准”，不过会永久丢失精度。

本文介绍了解决iOS开发中遇到的数据精度丢失问题的方法。通过将double类型数据转换为NSDecimalNumber来保留数值精度，并提供了一种实用的解决方案。

当使用NSString转换为float时，可能会遇到精度丢失的问题，如0.01转为0.009999799。这是因为float类型无法精确表示某些数值。为了解决这个问题，可以改用double类型，它提供了更高的精度。

文章探讨了等价无穷小在求解极限时可能导致的精度问题，通过两个例题展示了等价无穷小在加减运算中可能产生的误差。作者指出，等价无穷小是一种粗略的近似，忽略高阶项可能导致精度不足。在乘除运算中，等价无穷小通常适用，但在加减运算中需谨慎，建议使用泰勒展开确保精度。文章强调理解概念而非仅记忆结论的重要性。

34,875

社区成员

254,639

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章