Hadoop第11天-01.MR Local作业剖析

十八掌教育 2023-01-12 22:39:05

课时名称	课时知识点
Hadoop第11天-01.MR Local作业剖析

...全文

138 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

Apache Hadoop2.x 安装入门详解 PDF

Hadoop Hive入门学习笔记.pdf

linkedin的dr-elephant 编译文件，在centos 7(64位)下进行编译，支持 hadoop 2.6.0 , spark 1.x 版本。

实验报告（2014 / 2015 学年第二学期） "课程名称 "云计算 " "实验名称 "基于Hadoop的数据分析 " "实验时间 "2015 "年 "5 "月 "20 "日 " "指导单位 " " "指导教师 " " "学生姓名 " "班级学号 " " "学院(系) " "专业 " " 实验报告 "实验名称 " "指导教师 " " "实验类型 "上机 "实验学时 "2 "实验时间 "2015.5.20 " "实验目的和要求 " "【实验要求】 " "掌握基于Hadoop单机版的数据分析 " "【实验目的】 " "学会利用Hadoop对不同数据集的分析与挖掘； " "二、实验环境 " "虚拟机Ubuntu14.04，hadoop-1.2.1，eclipse-SDK-4.3.1 " "三、实验原理及内容 " "(1)在第一次实验的基础上安装eclipse " "1.将eclipse解压到usr/local目录下： " "sudo tar xzvf eclipse-SDK-4.3.1-linux-gtk-x86_64.tar.gz " "-C/usr/local " "2.授权：sudo chmod -R 777 /usr/local/eclipse " " " "将hadoop插件拷贝到/usr/local/eclipse/plugins下 " " " " " " " " " " " "4.设置eclipse的Java环境：在eclipse下创建一个jre文件夹sudo mkdir jre，进 " "入该文件夹：cd jre， " "加入一条连接指令ln -s /usr/lib/jvm/java-7-sun/bin bin " "(2)在eclipse中添加Map/Reduce：点击上方window选项，依次选择open " "perspective，other，Map、Reduce，如下图所示： " " " "(3)设置Map/Reduce location，选择Map/Reduce locations，new hadoop " "location，将其中的内容设置成下图所示的内容： " " " "设置Advanced parameters中的tmp文件夹位置为/usr/local/hadoop/tmp，如下图 " "所示： " " " "(4)设置hadoop的安装路径：依次点击window，preferences，Hadoop Map/Reduce " "，设置hadoop安装路径为/usr/local/hadoop " " " "(5)在桌面新建三个文件，如图所示： " " " " " " " "新建一个Map/Reduce " "Project：右击左侧空白处，选择新建一个如下图所示的Map/Reduce Project： " " " "点击Next，输入工程名为average，再点击finish。 " "新建一个Java class：右击左侧的average，依次选择New，class，设置内容如下 " "图所示： " " " " " " " " " "点击finish完成。 " "(8)加入Java代码： " "package com.hebut.mr; " "import java.io.IOException; " "import java.util.Iterator; " "import java.util.StringTokenizer; " "import org.apache.hadoop.conf.Configuration; " "import org.apache.hadoop.fs.Path; " "import org.apache.hadoop.io.IntWritable; " "import org.apache.hadoop.io.LongWritable; " "import org.apache.hadoop.io.Text; " "import org.apache.hadoop.mapreduce.Job; " "import org.apache.hadoop.mapreduce.Mapper; " "import org.apache.hadoop.mapreduce.Reducer; " "import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; " "import org.apache.hadoop.mapreduce.lib.input.TextInputFormat; " "import org.apache.hadoop.mapreduce.lib.output.FileO

hive安装，部署，简单测试helloworld

徐培成的课程社区_NO_5

1

社区成员

51

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章