浮点数在扩乘100倍时,会出现算法失精;
最简单的失精例子:
1 | 0.1 + 0.2 = 0.30000000000000004 |
有时候在处理小数时也会出现这种情况
比如:
1 | 0.007*100 = 0.7000000000000001 |
处理办法就是:
1 | //按照有效数字位数进行四舍五入,默认6位有效数字 |
浮点数算法 https://blog.csdn.net/tercel_zhang/article/details/52537726
浮点数在扩乘100倍时,会出现算法失精;
最简单的失精例子:
1 | 0.1 + 0.2 = 0.30000000000000004 |
有时候在处理小数时也会出现这种情况
比如:
1 | 0.007*100 = 0.7000000000000001 |
处理办法就是:
1 | //按照有效数字位数进行四舍五入,默认6位有效数字 |
浮点数算法 https://blog.csdn.net/tercel_zhang/article/details/52537726
本文标题:算法失精问题
文章作者:mogugit
发布时间:2020-06-02, 18:02:39
最后更新:2025-03-24, 10:47:54
原始链接:https://mogugit.github.io/2020/06/02/%E7%AE%97%E6%B3%95%E5%A4%B1%E7%B2%BE%E9%97%AE%E9%A2%98/
许可协议: "署名-非商用-相同方式共享 4.0" 转载请保留原文链接及作者。