20,808
社区成员
发帖
与我相关
我的任务
分享hadoop面试题
有几个问题想问，是网上看到的面试题，自己也不知道怎么解
1.利用MapReduce对比两个文件的差异（mapreduce可以记录数据时来自哪个文件的吗？）
2.利用MapReduce提高分析数据的精确度(地图软件)
3.MapReduce常见算法
8 三个datanode 当有一个datanode出现错误 会怎样
9 sqoop在导入数据到mysql中，如何让数据不重复导入？如果存在数据问题sqoop如何处理？
16. mapreduce的join方法有哪些？
1.利用MapReduce对比两个文件的差异（mapreduce可以记录数据时来自哪个文件的吗？）
2.利用MapReduce提高分析数据的精确度(地图软件)
3.MapReduce常见算法
8 三个datanode 当有一个datanode出现错误 会怎样
9 sqoop在导入数据到mysql中，如何让数据不重复导入？如果存在数据问题sqoop如何处理？
16. mapreduce的join方法有哪些？
...全文
请发表友善的回复…
发表回复
tchqiq 2014-10-17
- 打赏
- 举报
谢谢你的详细回答~让我又学了不少~
SG90_ICT 2014-09-18
- 打赏
- 举报
来论坛问问题，无可厚非吧，大家讨论讨论也是学习的过程么
huof 2014-09-18
- 打赏
- 举报
好好看书，应该会有答案的吧
SG90_ICT 2014-09-13
- 打赏
- 举报
8 三个datanode 当有一个datanode出现错误 会怎样
>> master会将此datanode的任务分配到其他datanode上去完成
SG90 2014-09-02
- 打赏
- 举报
第三题，最经典的是PageRank了吧
SG90 2014-09-02
- 打赏
- 举报
第二题，还可以有这个用途？
SG90 2014-09-02
- 打赏
- 举报
第一题，主要是问diff算法的吧，要把类似版本控制的diff算法用分布式实现
人生偌只如初见 2014-09-02
- 打赏
- 举报
没有细想，希望能对你有帮助
1.利用MapReduce对比两个文件的差异（mapreduce可以记录数据时来自哪个文件的吗？）
可以，在setup方法中
FileSplit split = (FileSplit) context.getInputSplit();
fileName = split.getPath().getName();
2.利用MapReduce提高分析数据的精确度(地图软件)
具体什么数据？
3.MapReduce常见算法
不太明白什么意思？mahout里面的算法？
4.三个datanode 当有一个datanode出现错误会怎样
是存储数据错误？还是运行任务错误？dfs.replication配置相关
5.sqoop在导入数据到mysql中，如何让数据不重复导入？如果存在数据问题sqoop如何处理？
Sqoop提供增量导入特性，配置如下参数
Incremental import arguments:
--check-column <column> Source column to check for incremental change
--incremental <import-type> Define an incremental import of type 'append' or 'lastmodified'
--last-value <value> Last imported value in the incremental check column
6.mapreduce的join方法有哪些？
map join 和 reduce join
tchqiq 2014-09-02
- 打赏
- 举报
我顶~~~~~~~~
