如何计算大量数据的平均值

[刚---总---]

具体需求是这样的：在过去的一段时间内，有大量的价格数据，为了给客户有一定的提示，要求把过去的一段时间内的价格平均值显示给客户。但问题是这段时间内的数据量可能会很大，不可能全部加起来求和然后算平均值。各位大仙，有没有什么好的算法来计算。跪求啊

[图灵狗]

程序启动的时候先算一遍，然后数据变化的时候，只加减变化的部分，这样就不会在关键的时候耗时过长了。

[刚---总---]

价格不单单是一种价格，所以没办法在启动的时候预先将各种价格的平均值都计算一遍。
只能在客户查的时候给提供他要查询的价格的平均价
不过谢谢~

[www_adintr_com]

是你的程序写出来后发现计算平均值很慢? 还是你没有写就猜想计算会很慢?

[刚---总---]

程序还没写，我觉得会很慢~
因为我得先从数据库查询数据，如果数据量大的话，这个过程就会比较慢....所以在数据库进行查询的时候就不可能将过去一周或者几周的数据都查询回来进行平均值的计算。

[千树之影]

平均值这种东西，数据量大的话采样就行了。比如有1亿数据，采上1万个求平均就够了。

[刚---总---]

那我应该如何采这1万个呢？求教~

[www_adintr_com]

[Quote=引用 4 楼 的回复:]

程序还没写，我觉得会很慢~
因为我得先从数据库查询数据，如果数据量大的话，这个过程就会比较慢....所以在数据库进行查询的时候就不可能将过去一周或者几周的数据都查询回来进行平均值的计算。
[/Quote]

数据库查询的时候就可以把平均值求好啊...
比如:
select avg(privce) from some_table where time between 'xxxx-xx-xx hh:mm:ss' and 'xxxx-xx-xx hh:mm:ss' 就行了.

[ma100]

查数据库的时候批量吞吐, 别一条一条查

[www_adintr_com]

https://www.google.com.hk/search?q=%E8%BF%87%E6%97%A9%E7%9A%84%E4%BC%98%E5%8C%96

[翅膀又硬了]

同意，不过感觉你的数据量不是很大吧，一天变一次价格，10年才3000多次。[Quote=引用 5 楼 的回复:]
平均值这种东西，数据量大的话采样就行了。比如有1亿数据，采上1万个求平均就够了。
[/Quote]

[刚---总---]

怎么个批量法？

[刚---总---]

我只是在想如果用数据库来算平均值，会不会给数据库带来很大的压力

[翅膀又硬了]

你试试不就知道了？Just do it[Quote=引用 12 楼 的回复:]
我只是在想如果用数据库来算平均值，会不会给数据库带来很大的压力
[/Quote]

[pathuang68]

给一个简单的思路：

假定是偶数个数字：
1     2     3     4     5     6     7     8
-------------------------------------------- 第一轮计算每两个数的平均值
1.5         3.5         5.5         7.5
-------------------------------------------- 第二轮计算每两个数的平均值
2.5                     6.5
-------------------------------------------- 第三轮计算每两个数的平均值
4.5 <-- 这就是最后的平均值

如果是奇数个数字
1     2     3     4     5     6     7     8     9
----------------------------------------------------- 第一轮计算每两个数的平均值，最后一个数字不算
1.5         3.5         5.5         7.5         9
----------------------------------------------------- 第二轮计算每两个数的平均值，最后一个数字不算
2.5                     6.5                     9
----------------------------------------------------- 第三轮计算每两个数的平均值，最后一个数字不算
4.5(权重是8/9)                                  9(权重是1/9)

所以平均值 = 4.5 / 9 * 8 + 9 / 9 * 1 = 5  (注意要先除后乘，防止溢出)

这种问题适合用递归的解法，如果每两个数分为一组的话，递归的次数大致是log2(数字的个数)，1百万的个数据，递归不超过20次，1千万个数据递归不会超过24次，1亿个数据递归不会超过27次。

当然，比如有6个数这样的情况，也需要特殊处理一下。所以当数据量很大的时候，要尽量选择2的多少次方个数据(比如1024个数据)进行分段运算，剩余不足1024个数据，可以用暴力解法，而且这样也很适合用并行计算来大幅度提高性能。

比如有1~18这18个数，我们就可以上面的方法先算前面16数的平均值，即8.5，它占最后平均值的16/18，最后两个数则各占最终平均数的1/18，所以最终的平均数为：
8.5 / 18 * 16 + (17 + 18) / 18 * 1 = 9.5

大致思路就是这样，仅供参考。

[pathuang68]

[Quote=引用 2 楼 的回复:]

价格不单单是一种价格，所以没办法在启动的时候预先将各种价格的平均值都计算一遍。
只能在客户查的时候给提供他要查询的价格的平均价
不过谢谢~
[/Quote]
我怎么发现就像股票数据哈，股票数据的处理方式都是每天交易结束时，把平均算好的，临时算肯定太慢啦。比如一只股票的价格变化时这样的：

即时价格 均值
1
2 (1 + 2) / 2 = 1.5
3 1.5 / 3 * 2 + 3 / 3 * 1 = 2
4 2 / 4 * 3 + 4 / 4 * 1 = 2.5
5 2.5 / 5 * 4 + 5 / 5 * 1 = 3
6 3 / 6 * 5 + 6 / 6 * 1 = 3.5
7 3.5 / 7 * 6 + 7 / 7 * 1 = 4

所以第n天的均值价格通式就是：
前一天的均值 / n * (n - 1) + 当天的即时价格 / n

[www_adintr_com]

[Quote=引用 13 楼 的回复:]

你试试不就知道了？Just do it引用 12 楼 的回复:
我只是在想如果用数据库来算平均值，会不会给数据库带来很大的压力
[/Quote]

现在的 CPU 每秒计算上亿次, 慢的都是 IO, 自己取数据来算是把时间浪费在IO和数据的拷贝上面了, 计算花的时间不过一点零头.

过早的优化是万恶之源, 等程序写出来后发现真的慢后再去分析性能的瓶颈和优化办法也不迟. 在这之前的优化都没有任何意义.

[nice_cxf]

都用数据库了还有啥考虑的，显然是用数据库计算就可以了
就算是mysql，几十万条数据的平均值也根本用不了多少时间

[SaintLance]

Avg(n)为前n项平均值，data[n]为第n项数据（n从1开始） Avg(n)=(n-1)/n*Avg(n-1)+data[n]/n 可以避免大数溢出，但要用浮点运算，n极大是还是会丢精度

[神农氏]

18楼正解。