map-reduce 计算效率的一般性算法分析

[Turing_0]

想对map-reduce framework 的计算效率做一个一般性算法分析，比如某一类型的问题，搬到map-reduce framework上后，它的时间复杂度，空间复杂度的理论变化值。
有感兴趣的，有思路的同学欢迎讨论一下：）站内联系也可。

[ourmeng19861001]

这个东西怎么计算时间复杂度 看你怎么分析数据了
你要是自己写代码进行mapreduce统计 那就要看你具体代码 空间这个东西 不晓得

[绿色夹克衫]

其实更值得讨论的是，如果运算可以分布到非常多的机器上，该如何设计算法。许多DP都需要依赖之前的计算结果，这为并行设置了很多障碍。

[FancyMouse]

其实这个尺度上真正该花功夫的是cluster的failover。并行算法大部分时间都是embarrassingly parallel的。

[Turing_0]

首先感谢楼上两位参与，说DP有点特意为难并行了:) 不如说一个可用分治方法解决的问题，分布到N台机器构成的集群上后，理论上，集群内部每台机器的计算量是多少，集群内机器间通信量是多少，在用户看来，计算时间是多少... 有点抽象，可以一开始以某个具体问题为例子来讨论，不过最后我想得到的还是对各种类型的问题，他们在map-reduce框架下的计算效率的理论最优值...