大数据作业

[一彩啦啦啦]

对于海量数据的处理，有数以百计的、专用的计算方法，但是如何处理并行计算、如何分发数据、如何处理错误？这些问题使得原本简单的运算变得难以处理。为了解决上诉的复杂问题，设计了一个新的抽象模型。使用这个模型只需要进行简单的运算，可以不用关心复杂细节，容易实现大规模并行化计算，由于我的专业是国际经济与贸易，这一点和专业结合思考的话，我能想到，在国际贸易中，买卖双方需要通过交易磋商，用合同来明确约定货物交付的地点、运输中的风险划分、运输手续和货运保险手续由谁办理、取得各种进出口所需要的文件和进出口手续由谁办理，以及在办理这些手续中所要支出的费用，如运费、保险费、进出口环节关税和其他费用由谁支付，等等。如果贸易双方就这些事项进行逐一商讨，不仅会耗费大量时间和精力，还可能会因考虑不周而使合同无法履行，甚至产生争议和纠纷，因此，在长期的国际贸易实践中，人们用一些简短的概念和外文字母缩写来明确买卖双方责任、费用和风险划分界限，约定买卖双方交接货物中各自应尽的义务。尽管我们在国际贸易中有很多方法和手段进行磋商，但由于上文提到的，注意磋商每一细节得不尝试，于是人们改用贸易术语，不同的贸易术语有着不同的含义，贸易术语就像是结果，在实践中确定贸易术语的过程就像是计算、容错、数据分布、负载均衡等复杂细节。简化复杂细节，不仅在Mapreduce中有应用，在国际贸易以及生活在很多方面都有应用，而简化复杂细节，也是我们在工作学习中需要用到的技巧。 MapReduce 模型可以有多种不同的实现方式。如何正确选择取决于具体的环境。例如，一种实现方式适用于小型的共享内存方式的机器，另外一种实现方式则适用于大型 NUMA 架构的多处理器的主机，而有的实现方式更适合大型的网络连接集群。在国际贸易中，双方为了达成合作，在国际商务谈判中，谈判技巧也会根据具体环境的不同而改变，谈判过程中小组人数、分工也是随谈判具体情况而改变。根据具体的环境来选择不同的Mapreduce的不同实现方式，根据不同的环境来确定不同都谈判团队和谈判技巧。在工作学习过程中，我们也是根据不同任务的轻重缓急安排自己的计划。 通过将 Map 调用的输入数据自动分割为 M 个数据片段的集合，Map 调用被分布到多台机器上执行。输入的数据片段能够在不同的机器上并行处理。在国际商务谈判中，谈判组的每个成员有不同的角色，分为主谈、辅谈等等，但谈判过程是多个成员为了共同的目标一起进行的，这一点与“输入的数据片段能够在不同的机器上并行处理”有异曲同工之处。 通过对Mapreduce中文版的阅读，发现其中很多方面的思想都能与我所学的专业知识思想相结合，学习的过程是无止境的，结合不同学科的过程也是奇妙和有趣的。感谢《大数据与人工智能》这门课程开阔了我的眼界，也让自己从另一个角度思考国际经济与贸易的专业知识。（最后，想说明的是，这是一份迟交的读后感，也不清楚老师会不会再进行检索，但是很感谢老师引导我们从这门课程的角度思考自己的专业和生活。）