double类型精度问题

2014-10-29 10:44:47 539 阅读 AI 写同款 · GEO 优化AI 选题数据监测一键分发 ›

ODPS double类型转型精度问题总结简介：ODPS double类型转型精度问题总结从相差0.0000000000001说起，本文主要是对odps的Double和Decimal的精度使用问题做一个总结。1. 问题描述客户开发人员在使用maxcompute对double数据类型求和时出现错误（数据表由oracle数据库抽取到maxcompute, 对应字段类型为number到double），正确的结果是1943.38，但求和结果为1943.3799999999999，结果相差了0.0000000000001，这个差值的比例可以这样类比——如果地阅读详情

使用别人接口文件，其中一个参数是金额double类型，

在运行过程老是产生误差，后来debug调试发现问题所在

比如：
double d1 ＝ 1235.2
double d2 ＝ 10.6
double d3 = d1-d2; //本应该d3=1224.6,调试发现d3=1224.5999999999999

然后d3作为接口参数之一送进去，在接口能运作是采用的是截位，直接把结果变成了1224.5，因此老是产生0.1的偏差

如果能让d3保证是1224.6，而不是1224.5999999999999

谢谢

...全文

ODPS double类型转型精度问题总结 <h1>从相差0.0000000000001说起</h1> <!doctype html> <div class="lake-content-editor-core lake-engine lake-typography-classic" data-lake-element="root" data-selection-317429="%7B%22path%22%3A%5B%5B11%2C0%2C96%5D%2C%5B11%2C0%2C96%5D%5D%2C%22uu 阅读详情

litsnake

C++ 语言 65,214 成员 250,514 内容

+ 关注 + 加入社区

切换为时间正序

赵4老师 2014-10-29

打赏
举报

http://bbs.csdn.net/topics/390676437

#include <stdio.h>
double d1 = 1235.2;
double d2 = 10.6;
double d3;
int main() {
    d3=d1-d2;
    printf("%lf\n",d3);
    printf("%.15lf\n",d3);
    printf("%lg\n",d3);

    printf("\n");

    d3=1224.5999999999999;
    printf("%lf\n",d3);
    printf("%.15lf\n",d3);
    printf("%lg\n",d3);
    return 0;
}
//1224.600000
//1224.600000000000100
//1224.6
//
//1224.600000
//1224.599999999999900
//1224.6
//

不要迷信书、考题、老师、回帖；要迷信CPU、编译器、调试器、运行结果。并请结合“盲人摸太阳”和“驾船出海时一定只带一个指南针。”加以理解。任何理论、权威、传说、真理、标准、解释、想象、知识……都比不上摆在眼前的事实！有人说一套做一套，你相信他说的还是相信他做的？其实严格来说这个世界上古往今来所有人都是说一套做一套，不是吗？不要写连自己也预测不了结果的代码！作为一个C程序员，对 scanf,sscanf,fscanf printf,sprintf,fprintf 这类函数的用法，还是要做到“拳不离手，曲不离口”的。 f double Signed value having the form [ – ]dddd.dddd, where dddd is one or more decimal digits. The number of digits before the decimal point depends on the magnitude of the number, and the number of digits after the decimal point depends on the requested precision. g double Signed value printed in f or e format, whichever is more compact for the given value and precision. The e format is used only when the exponent of the value is less than –4 or greater than or equal to the precision argument. Trailing zeros are truncated, and the decimal point appears only if one or more digits follow it. f The precision value specifies the number of digits after the decimal point. If a decimal point appears, at least one digit appears before it. The value is rounded to the appropriate number of digits. Default precision is 6; if precision is 0, or if the period (.) appears without a number following it, no decimal point is printed. g, G The precision specifies the maximum number of significant digits printed. Six significant digits are printed, with any trailing zeros truncated.

mujiok2003 2014-10-29

打赏
举报

引用 3 楼 litsnake 的回复:

那么 [quote=引用 2 楼 mujiok2003 的回复:] 浮点数都二进制和10进制都有误差的。考虑用整数吧。

这是三方dll，接收的就是double类型，咋能使用整数？[/quote] 那没有办法，因为你没有办法精确表示1224.6

litsnake 2014-10-29

打赏
举报

截尾是第三方dll里面的逻辑，我没有办法改变了，我送进去的参数值应该1224.6，但是变成了1224.59999999 再经过dll中截尾，就变样了，如果dll中四舍五入当然没有问题了，我原来的方法就是加一个小一点的，传d3+0.05，这样就是1224.64999999，截位之后也是1224.6，但是这方法感觉有点别扭，看看有没有更好的处理方法

ri_aje 2014-10-29

打赏
举报

金额用整数表达更好，浮点就会带来这种问题。

Saleayas 2014-10-29

打赏
举报

d3=1224.5999999999999 这个值在精度误差允许返回类就是 1224.6，如果你需要有效数字，那么必须使用专门的舍入法。不能简单的截尾。

女神打Boss 2014-10-29

打赏
举报

把dll返回值强转

litsnake 2014-10-29

打赏
举报

那么

引用 2 楼 mujiok2003 的回复:

浮点数都二进制和10进制都有误差的。考虑用整数吧。

这是三方dll，接收的就是double类型，咋能使用整数？

mujiok2003 2014-10-29

打赏
举报

浮点数都二进制和10进制都有误差的。考虑用整数吧。

nice_cxf 2014-10-29

打赏
举报

保证不了，在上边截取的时候加一个比较小的数再转就可以了

double类型精度问题

相关推荐