搭建hadoop正式环境,集群之间用内网ip还是用外网ip?

泪三国云无痕 2017-11-19 11:34:44

公司用的是阿里云服务器,用了内网ip互通的话,那公司本地这边好像就访问不了,有搭建经验的大牛吗,求解答,是怎么处理这个问题的?

...全文

2798 2 打赏收藏转发到动态举报

写回复

2 条回复

切换为时间正序

请发表友善的回复…

发表回复

不羡鸳鸯丶不羡仙 2018-07-25

打赏
举报

回复

还是内网的好点，只不过有些服务的端口要映射出来

泪三国云无痕 2017-11-23

打赏
举报

回复

还是用了内网,比较安全

简介 hadoop是一个分布式系统基础架构，是大数据生态的一个总称；核心设计包括：HDFS和MapReduce，HDFS为海量数据提供了存储，而MapReduce则为海量数据提供了计算；本篇博客则主要描述在阿里云服务器下部署hadoop集群环境准备两台阿里云服务器（实验环境，正式环境建议使用三台或以上部署集群）centos_7，一台为主，另一台为从；两台服务器分别安装jd...

一：准备工作 1：安装好CentOS-6.6-x86_64-bin-DVD1.iso(本人安装了三个节点，详情见前文，不过网络模式需要修改为桥接模式） 2：修改配置文件，linux系统命令行方式启动（实际生产中都是改方式，没有可视化界面） vi /etc/inittab # Default runlevel. The runlevels used are: # 0 - h

1：CDH介绍 CDH是Cloudera的100％开源平台发行版，包括Apache Hadoop，专为满足企业需求而构建。CDH提供开箱即用的企业使用所需的一切。通过将Hadoop与十几个其他关键的开源项目集成，Cloudera创建了一个功能先进的系统，可帮助您执行端到端的大数据工作流程。简单来说：CDH 是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具（软件），使得集群的安装可以从几天的时间缩短为几个小时，运维人数也会从数十人降低到几个人，极大的提高了集群管理的效率。 2：CDH现状分

网上的找的文档大多残缺不靠谱，所以我整理了一份安装最新版本的hive4..0.0+hadoop3.3.4的学习环境，可以提供大家安装一个完整的hive+hadoop的环境供学习。Hive Metastore是Hive的元数据存储服务，需要确保Metastore服务已经启动，并且在Beeline的配置文件中正确配置了Metastore的地址。HiveServer2是Hive的查询服务，需要确保HiveServer2服务已经启动，并且在Beeline的配置文件中正确配置了HiveServer2的地址。

继hadoop环境搭建预备节之后，开始正式搭建hadoop集群环境，先简单介绍下lz的环境，共五台虚机，node1-node5 node1和node2为NameNode node3-node5为DataNode 安装包下载：lz使用的是2.7.7的包配置 cd /data/soft/new/hadoop //解压压缩包 tar -zxvf hadoop-2.7.7.tar.gz cd...

1,092

社区成员

968

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章