reduceF功能实现

尹成学院 2023-01-13 01:37:08

课时名称	课时知识点
reduceF功能实现	reduceF功能实现

...全文

22 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

麻省理工学院6.824 赶在返校的最后十几天完成了，最后剩2个挑战和想法返校之后慢慢补吧。状态实验1 实验2 实验3 实验4 挑战1 挑战2 LAB1 MapReduce 第一个实验是完成一个简单的分布式mapreduce框架，整个实验分三步走： 1完成工人 worker的主体是一个循环的，不断的向主调用AskTask RPC 。然后执行不同的替代函数： doMap doReduce 。 doMap负责顺序读取主获取的输入文件列表，调用mapf，访问中间结果 doReduce负责读取对应的中间结果文件，调用reducef，访问输出大致完成后，可以修改mrsequential.go文件，以串行的方式模拟调用worker里的函数，比较下输出是否正确 2完成大师 master负责对任务的调度。整个运行过程分两个任务， MAP和REDUCRE type Task struct

PartII 实现单词统计实现 main/wc.go 两个函数 mapF() 、 reduceF() 单词是任意字母连续序列，由unicode.IsLetter 决定字母测试数据 pg-*.txt 放在 ~/6.824/src/main $ cd 6.824 $ export "GOPATH=$PWD" $ cd "$GOPATH/src/main" $ go run wc...

maplist(map(str,range(10))) Out[1]: ['0', '1', '2', '3', '4', '5', '6', '7', '8', '9']def mul(x): return x*x a=list(range(10)) list(map(mul,a)) Out[18]: [0, 1, 4, 9, 16, 25, 36, 49, 64, 81] reducef

这部分很简单，前面我们是调用的代码已经写好的mapF函数和reduceF，所以这一部分就相当于要我们自己实现自定义的map和reduce函数，map函数用来生成键值对序列，reduce函数用来统计词频。 map函数 func mapF(filename string, contents string) []mapreduce.KeyValue { // Your code here (Par...

partV 创建文档反向索引。word -> document 与前面做的单词统计类似，这个是单词与文档位置的映射关系。 mapF 文档解析相同，返回信息不同而已。 reduceF 返回归约都的字符串，返回document 切片转成 string 使用 strings.join 。 master@master:~/study/6.824/src/main$ go run...

尹成的课程社区_NO_2

1

社区成员

1,571

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章