启动HDFS提示mv: cannot stat `/usr/local/hadoop/logs/hadoop-xpp-datanode-ubuntu11.out [问题点数:50分]

Bbs1
本版专家分:0
结帖率 0%
hadoop 2.6遇到的DataNode无法启动问题
多次<em>启动</em>中发现有NameNode节点,并没有DataNode节点 如图所示: 回头看<em>启动</em>过程 注意如下: <em>local</em>host: starting datanode, logging to /<em>usr</em>/<em>local</em>/<em>hadoop</em>/<em>logs</em>/<em>hadoop</em>-<em>hadoop</em>-datanode-<em>local</em>host.<em>local</em>domain.out查看相关日志: /<em>usr</em>/<em>local</em>/<em>hadoop</em>/<em>logs</em>/
hadoop集群安装常见问题
格式化HDFS 到达<em>hadoop</em>的bin目录下 执行 $<em>hadoop</em> namenode -format 这里我直接报了这个错 (namenode 无法<em>启动</em>) ERROR namenode.NameNode: java.io.IOException: Cannot create directory /export/home/dfs/name/current解决:原因是 没有设置 /opt/hadoo...
hadoop完全分布式因权限问题无法发起动
问题描述:在<em>hadoop</em>账户下在搭建<em>hadoop</em>完全分布式的时候配置都一切正常,但是在<em>hadoop</em>账户下就是无法<em>启动</em>集群,总是报出如下错误:This script is Deprecated. Instead use start-dfs.sh and start-yarn.sh Starting namenodes on [Master] Master: chown: <em>cannot</em> access ...
Hadoop 2.7.4 关闭与启动
环境说明: [root@hadp-master sbin]# <em>hadoop</em> version Hadoop 2.7.4 一、 脚本封装全部一起<em>启动</em>、关闭 1.1 <em>启动</em> [root@hadp-master sbin]# ./start-all.sh  This script is Deprecated. Instead use start-dfs.sh and start-yarn.s
hadoop 常见问题记录
1 运行  :<em>hadoop</em> namenode -format 报错误信息如下: 14/05/15 17:13:35 INFO common.Storage: Cannot lock storage /<em>usr</em>/<em>hadoop</em>/dfs/name. The directory is already locked. 14/05/15 17:13:35 ERROR namenode.NameNode:
HBase运行必须要sudo
最近在在自己的机器上搭建Hadoop伪分布式集群,用到了HBase 然后遇到了一个非常诡异的问题 直接运行Hadoop不需要sudo ./start-dfs.sh 运行HBase却需要sudo, 否则<em>提示</em>没有权限 sudo ./start-hbase.sh 会报如下的错 <em>hadoop</em>@joes:/opt/hbase/hbase-1.2.5/bin$ ./start-
HADOOP 伪分布式官方安装方法过程中的问题
按照<em>hadoop</em>官方文档http://<em>hadoop</em>.apache.org/docs/stable/<em>hadoop</em>-project-dist/<em>hadoop</em>-common/SingleCluster.html,安装<em>hadoop</em>3.2.0伪分布式模式过程中出现的问题,记录如下: 一、 ERROR: JAVA_HOME is not set and could not be found 解决方法:had...
HBase集群部署(完全分布式)及部署过程遇到问题浅析解决
环境 OS: Ubuntu 16.04 LTS Java: open-jdk1.8.0_111(需要1.7+) Hadoop: <em>hadoop</em>-2.7.3 Zookeeper: zookeeper-3.4.9 Hbase: hbase-1.2.4 集群机器 IP HostName Master RegionServer 10.100.3.88 Master yes no
搭建hadoop平台时遇到的问题及解决方法
笔者最近在搭建伪分布式<em>hadoop</em>平台的时候,遇到了一些问题,在解决了这些问题之后就将问题及解决方法记录了下来,以供参考。 出现的问题1 <em>hadoop</em>@daixiang-virtual-machine:/<em>usr</em>/<em>local</em>/<em>hadoop</em>/etc/<em>hadoop</em>$ start-dfs.sh Incorrect configuration: namenode address dfs.namenode
关于启动Hbase时所报的异常
liu: starting zookeeper, logging to /<em>usr</em>/java/hbase/bin/../<em>logs</em>/hbase-root-zookeeper-liu.out starting master, logging to /<em>usr</em>/java/hbase/<em>logs</em>/hbase-root-master-liu.out Java HotSpot(TM) 64-Bit Server
Linux.配置Hadoop环境的一些问题解决
弄了很久 几篇教程 官方教程 很良心的中文版教程 问题与解决问:伪分布环境配置的时候,<em>启动</em>Hadoop时<em>提示</em>输入root的密码,但是无论如何也无法输入正确。(本人参考很良心的中文版教程进行的配置)$ sudo /<em>usr</em>/<em>local</em>/<em>hadoop</em>/sbin/start-dfs.sh Starting namenodes on [<em>local</em>host] root@<em>local</em>host's password:
hadoop2.6.4完全分布式集群安装(一)实现基本集群环境
<em>hadoop</em> 2.6.4 完全分布式安装,网上能找到的文章,不知道为何总是有各种问题。 在此,及其详细的描述了每个步骤,从操作系统到集群安装,再到各种基本验证。 本文没有上来就建立HA,先从基本集群安装开始,实现Hadoop集群的最基本安装。
hadoop启动错误总结
1.<em>hadoop</em>3: mkdir: <em>cannot</em> create directory `/<em>usr</em>/<em>local</em>/<em>hadoop</em>/bin/../<em>logs</em>': Permission denied 把所有Datanode节点执行下面命令 [<em>hadoop</em>@<em>hadoop</em>3 <em>local</em>]$ chown -R  <em>hadoop</em>:<em>hadoop</em>  <em>hadoop</em>-0.20.2/ 2. 2012-08-05 1
mv 带通配符的 cannot stat的问题
` sudo <em>mv</em> /home/abc/*.txt . <em>mv</em>: <em>cannot</em> <em>stat</em>/home/abc/*’: No such file or directory “`见鬼, <em>mv</em>别人的文件夹为啥不能带通配符. 但是<em>mv</em>自己的可以.想一下有啥区别: 权限不同. 改权限. abc的文件夹权限是什么? 700. 看起来禁止了别的用户的访问和遍历?sudo chmod 766 abc.
hbase:伪分布环境搭建及常见错误解决方法
配置注意事项 1、 ssh 必须安装ssh , sshd 也必须运行,这样Hadoop的脚本才可以远程操控其他的Hadoop和HBase进程。ssh之间必须都打通,不用密码都可以登录,详细方法可以Google一下 ("ssh passwordless login"). 2、hostname HBase使用本地 hostname 才获得IP地址. 正反向的DNS都是可以的. 如果你
Hadoop name node 目录更改, NameNode 进程启动失败
<em>hadoop</em>.tmp.dir /<em>usr</em>/<em>local</em>/<em>hadoop</em>/tmp if  you change this dir,  you should format it again, else you will fail to start name node fs.default.name <em>hdfs</em>://<em>hadoop</em>:9000 dfs.permission false
Hadoop启动操作过程及常见错误
主要<em>启动</em>步骤 格式化 cd $HADOOP_HOME ./bin/<em>hdfs</em> namenode -format 成功的话,会看到 “successfully formatted” 和 “Exitting with <em>stat</em>us 0” 的<em>提示</em>,若为 “Exitting with <em>stat</em>us 1” 则是出错。开启 NaneNode 和 DataNode 守护进程 ./sbin/start-df
安装hadoop 时遇到的问题,格式化文件系统时,不能成功
 安装<em>hadoop</em> 时遇到的问题,格式化文件系统时,不能成功 执行命令: <em>hadoop</em> namenode –format 出现下面错误: /<em>usr</em>/bin/<em>hadoop</em>: line 321: /<em>usr</em>/java/default/bin/java: No such file or directory /<em>usr</em>/bin/<em>hadoop</em>: line 387: /<em>usr</em>/java/default...
腾讯云部署完tomcat,开启./startup.sh后报错,找不到logs/catalina.out
error<em>提示</em>:touch: <em>cannot</em> touch ‘/<em>usr</em>/<em>local</em>/tomcat/apache-tomcat-8.0.50-src/<em>logs</em>/catalina.out’: No such file or directory /<em>usr</em>/<em>local</em>/tomcat/apache-tomcat-8.0.50-src/bin/catalina.sh: line 456: /...
4,数据挖掘环境搭建-hadoop-2.6.5-src.tar.gz编译
编译<em>hadoop</em>-2.6.5.tar.gz,需要一下软件将所有软件安装在/<em>usr</em>/<em>local</em>/src目录下jdk-7u25-linux-x64.tar.gz apache-ant-1.9.4-bin.tar.gz findbugs-3.0.0.tar.gz protobuf-2.5.0.tar.gz apache-maven-3.0.5-bin.tar.gz <em>hadoop</em>-2.6.0-sr
Hadoop2.7.3配置记录
Hadoop2.7.3 配置记录
spark1.6.0搭建(基于hadoop2.6.0分布式)
本文是基于<em>hadoop</em>2.6.0的分布式环境搭建spark1.6.0的分布式集群。 <em>hadoop</em>2.6.0分布式集群可参考:[url]http://kevin12.iteye.com/blog/2273532[/url] 1.解压spark的包,tar -zxvf spark-1.6.0-bin-<em>hadoop</em>2.6.tgz,并将其移到/<em>usr</em>/<em>local</em>/spark目录下面; 在~/.bas...
Hadoop可能遇到的问题
Q1:<em>启动</em><em>hadoop</em>时<em>提示</em>running as process Stop it firstA:关闭所有<em>hadoop</em>进程再<em>启动</em> stop-all.sh start-all.shQ2:<em>启动</em><em>hadoop</em>后namenode没有<em>启动</em>,namenode日志报错:checkpoint directory does not exist or is not accessible.A:如果dfs/name文件夹已
Hadoop 在分机上启动常见问题
键入 start-yarn.sh出现:starting yarn daemons chown: changing ownership of `/home/<em>hadoop</em>/app/<em>hadoop</em>-2.4.1/<em>logs</em>’: Operation not permitted 权限不够,可能该文件或目录是用root用户创建的 解决办法: sudo chown -R 当前用户名 /home/<em>hadoop</em>再
关于启动hadoop的一个小小小问题
<em>local</em>host: /<em>usr</em>/<em>local</em>/<em>hadoop</em>/sbin/<em>hadoop</em>-daemon.sh: line 166: /<em>usr</em>/<em>local</em>/<em>hadoop</em>/<em>logs</em>/<em>hadoop</em>-<em>hadoop</em>-datanode-<em>hadoop</em>.out: Permission denied <em>local</em>host: /<em>usr</em>/<em>local</em>/<em>hadoop</em>/sbin/<em>hadoop</em>-daemon.sh: line 167:
Hadoop服役新的数据节点(仅供参考)
      最近自己在学习大数据领域,了解了不少知识,在自己现有的集群环境中模拟了如何在现有的集群上增加新的节点。这种场景在我们现实生活中也很常见,随着公司业务的增长,数据量越来越大,原有的数据节点的容量已经不能满足存储数据的需求,需要在原有集群基础上动态添加新的数据节点。1)环境准备 (1)克隆一台虚拟机 (2)修改ip地址和主机名称 (3)修改xcall和xsync文件,增加新`增节点的同步s...
笔记:1、Hadoop集群配置中的坑-【slave节点上的datanode启动失败】
1、slave节点上的datanode<em>启动</em>失败,有一种原因是没有配置etc/hosts观察slave节点的 <em>logs</em>/<em>hadoop</em>-root-datanode-<em>hadoop</em>2.log(备注:<em>hadoop</em>2是我的slave主机名)出现如下错误代码:ERROR org.apache.<em>hadoop</em>.<em>hdfs</em>.server.datanode.DataNode: Initialization failed ...
hadoop配置遇到问题的解决
ssh <em>local</em>host: 不能登陆:将错误<em>提示</em>中的文件全部删除。原因:登陆过远程主机
datanode启动失败
当我动态添加一个<em>hadoop</em>从节点的之后,出现了一个问题: [root@<em>hadoop</em> current]# <em>hadoop</em>-daemon.sh start datanode starting datanode, logging to /<em>usr</em>/<em>local</em>/<em>hadoop</em>1.1/libexec/../<em>logs</em>/<em>hadoop</em>-root-datanode-<em>hadoop</em>.out [root@<em>hadoop</em> 
HDFS相关命令
HDFS相关命令: (1)<em>启动</em><em>hadoop</em>,在HDFS中创建用户目录(现在已经在<em>hadoop</em>目录/<em>usr</em>/<em>local</em>/<em>hadoop</em>) <em>hdfs</em> dfs -mkdir -p /user/<em>hadoop</em>8 (2)接着在此用户目录下创建test文件夹,并查看文件列表 <em>hdfs</em> dfs -mkdir test <em>hdfs</em> dfs -ls . (3)将~/.bashrc文件上传到HDFS的test文...
DataNode启动失败解决
DataNode<em>启动</em>失败解决   第一步:查看日志   打开DataNode上的<em>hadoop</em>日志  在<em>hadoop</em>/<em>logs</em>下 查看类似于 <em>hadoop</em>-root-datanode-node3.log   查看错误    在日志中会看到 类似于这样的错误 Incompatible clusterIDs in /<em>usr</em>/<em>hadoop</em>/tmp/dfs/data:  nameno...
Hadoop节点管理
Hadoop节点管理 配置NameNode的<em>hdfs</em>-site.xml 增加dfs.hosts.exclude配置 &amp;lt;property&amp;gt; &amp;lt;name&amp;gt;dfs.hosts.exclude&amp;lt;/name&amp;gt; &amp;lt;value&amp;gt;/<em>usr</em>/<em>local</em>/<em>hadoop</em>/etc/<em>hadoop</em>/exclude&amp;lt;/value&amp;gt; &amp;lt;/propert...
hadoop格式化HDFS时候出错,日志文件如下,有人知道怎么回事嘛
<em>hadoop</em>格式化HDFS时候出错,日志文件如下,有人知道怎么回事嘛 STARTUP_MSG: Starting NameNode STARTUP_MSG: host = node-1/192.168.52.132 STARTUP_MSG: args = [–format] STARTUP_MSG: version = 2.7.1 STARTUP_MSG: classpath = ...
Hadoop-2.7.3常见问题解决
问题1: <em>提示</em>如下信息: Java HotSpot(TM) Client VM warning: You have loaded library /<em>usr</em>/<em>local</em>/<em>hadoop</em>/lib/native/lib<em>hadoop</em>.so.1.0.0 which might have disabled stack guard. The VM will try to fix the stack g
Linux 下 squid 服务启动失败,无法写入cache.log,Permission denied 解决方法
突然 squid 就<em>启动</em>不了了,打开 squid.out,发现报错: WARNING: Cannot write log file: /var/log/squid/cache.log /var/log/squid/cache.log: Permission denied          messages will be sent to 'stderr'.
关于hdfs多次启动Datanode无效
发现Datanode一直无法<em>启动</em> 查看/root/apps/<em>hadoop</em>-2.7.3/<em>logs</em>/下的日志文件: 查看资料发新: 多次使用下面的命令: cd /root/apps/<em>hadoop</em>-2.7.3 ./bin/<em>hadoop</em> namenode -format 导致了clusterID不同 3.解决方法:删除datanode中的<em>hdfs</em>仓库文件即可 然后直接使用: start...
Tomcat-8.0.26报错,这是个坑大家不要在踩了
<em>启动</em>tomcat报错,没有/bin下的*.sh的权限 # tomcat-8.0.26/bin/startup.sh          Cannot find tomcat-8.0.26/bin/catalina.sh The file is absent or does not have execute permission This file is needed to run thi
linux下tomcat无法创建catalina.out日志问题
报错: i@Lenovo-B470:/<em>usr</em>/lib/tomcat/apache-tomcat-7.0.55/bin$ sh startup.shUsing CATALINA_BASE: /<em>usr</em>/lib/tomcat/apache-tomcat-7.0.55 Using CATALINA_HOME: /<em>usr</em>/lib/tomcat/apache-tomcat-7.0.55 Using
Linux下sshd启动失败及Squid启动失败问题解决一例
Linux下sshd<em>启动</em>失败及Squid<em>启动</em>失败问题解决一例(SSH<em>启动</em>失败)休假回来,登录服务器时,<em>提示</em>“network refuse",怎么会?检查/etc/hosts.allow , /etc/hosts.deny 都没有问题本机和服务器IP在同一网段!#service sshd restart    正常#ps -aux|grep sshd    没有此进程#nmap -sT <em>local</em>h
HBase安装过程中遇到的问题
Error: JAVA_HOME is not set解决办法:确认正确配置JAVA_HOE相关配置,加载配置文件:  source ~/.bash_profilejava -version,检查是否安装成功<em>启动</em>hbase,报错ignoring option PermSize=128m……;解决办法:修改./hbase/conf/hbase-env.sh 文件注释hbase-env.sh文件中“#...
hadoop格式化namenode的时候出现“Cannot create directory …”的异常
首次安装配置完<em>hadoop</em>需要格式化namenode,发现出现了一下的异常: 发现javaIO没办法创建对应的目录,这里应该是linux的文件权限不够(我放在的是/<em>usr</em>目录下了),所以需要修改下<em>hadoop</em>安装位置的文件权限,在(ubuntu)终端输入:(注:sudo chown -R 【用户名】【<em>hadoop</em>的安装路径】) sudo chown -R <em>hadoop</em> ./<em>hadoop</em> ...
hadoop多节点集群搭建过程中错误:No such file or directoryhdfslogs提示出现出现^M的解决办法
声明:由于是在技术qq群里得到的答案,原创作者无从追溯,若有侵权,请mail285926969@qq.com告知,必定注明出处。 出现这个错误并不是代码问题,而是LINUX环境下用rz命令上传的文本格式为doc,需要更改为unix格式后系统才会正确读取代码,具体操作如截图:
hadoop格式化权限不够解决
[<em>hadoop</em>@xuniji ~]$ <em>hadoop</em> namenode -formatDEPRECATED: Use of this script to execute <em>hdfs</em> command is deprecated.Instead use the <em>hdfs</em> command for it./home/<em>hadoop</em>/apps/<em>hadoop</em>-2.6.4/bin/<em>hdfs</em>: line 276: /r...
大数据Hadoop系列之HDFS命令讲解
1. 前言 HDFS命令基本格式:<em>hadoop</em> fs -cmd &amp;amp;lt; args &amp;amp;gt; 2. ls 命令 <em>hadoop</em> fs -ls / 列出<em>hdfs</em>文件系统根目录下的目录和文件 <em>hadoop</em> fs -ls -R / 列出<em>hdfs</em>文件系统所有的目录和文件 3. put 命令 <em>hadoop</em> fs -put &amp;amp;lt; <em>local</em> file &amp;amp;gt; &amp;amp;lt; hdf...
FastDFS安装过程中出现的问题
问题一:无法找到libevent-1.4.so.2库   [root@<em>local</em>host conf]# /<em>usr</em>/<em>local</em>/bin/fdfs_trackerd/home/yuqing/FastDFS/conf/tracker.conf /<em>usr</em>/<em>local</em>/bin/fdfs_trackerd: error while loading shared libraries: libevent
Hadoop启动datanode失败或无法启动
一、问题描述        当我多次格式化文件系统时,如        [root@master]# cd /<em>usr</em>/<em>local</em>/<em>hadoop</em>/etc/bin/<em>hdfs</em> namenode -format      会出现datanode无法<em>启动</em>,查看日志(/<em>usr</em>/<em>local</em>/<em>hadoop</em>/<em>logs</em>/<em>hadoop</em>-<em>hadoop</em>-datanode-xsh.log),发现错误为: 2018-0...
Livy安装&部署
官网 http://livy.incubator.apache.org/get-started/ Download [<em>hadoop</em>@<em>hadoop</em>001 software]$ wget http://mirrors.hust.edu.cn/apache/incubator/livy/0.5.0-incubating/livy-0.5.0-incubating-bin.zip [<em>hadoop</em>@hado...
haproxy的安装和基本设置
haproxy的安装和基本设置 首页 http://haproxy.1wt.eu/ 中文资料 http://cn.haproxy.org/download/1.3/doc/configuration-cn.txt 参考WIKI http://blog.csdn.net/cenwenchu79/archive/2009/08/04/4409343.aspx 一、haproxy的安装
mysql在linux下的安装
1、下载     下载地址:http://dev.mysql.com/downloads/mysql/5.6.html#downloads     下载版本:我这里选择的5.6.33,通用版,linux下64位     也可以直接复制64位的下载地址,通过命令下载:wget http://dev.mysql.com/get/Downloads/MySQL-5.6/mysql-5.6.33-l
Hadoop启动踩过的坑
核心内容:  1、Hadoop开发过程中常见问题即解决方案 在<em>hadoop</em>开发的过程中,我们总是遇到各种各样的问题,今天就整理总结一下: 万能的解决方案:6个检查+具体日志 在Hadoop开发的过程中如果遇到各种异常,首先使用jps命令查看节点的<em>启动</em>是否正常,然后在去查看相关的日志文件,但是在查看相关日志之前,你可以先检查一下面几点:  1、防火墙
【报错总结】搭建NameNode报错
搭建伪分布式Hadoop平台报错总结。
hbase集群在启动的时候找不到JAVA_HOME的问题
hbase集群在<em>启动</em>的时候找不到JAVA_HOME的问题,<em>启动</em>集群的时候报错信息如下: root@master:/<em>usr</em>/<em>local</em>/hbase-0.90.4/bin# ./start-hbase.sh starting master, logging to /<em>usr</em>/<em>local</em>/hbase-0.90.4/bin/../<em>logs</em>/hbase-root-master-master.out sl
linux下使用编译使用GeoIp 出现问题
1、<em>mv</em>: <em>cannot</em> <em>stat</em> `.deps/GeoIP.Tpo’: No such file or directory 解决方法: libtoolize -f ./configure make && make install 2、安装上后出现:geoiplookup: error while loading shared libraries: libGeoIP.so.1
当前用户对hadoop安装目录无足够权限
1、首先将<em>hadoop</em>解压到 /opt $sudo tar -zxvf <em>hadoop</em>.xx.xx.tar.gz 到达/opt下,然后建立<em>hadoop</em>文件夹,里面建立name和data两个文件夹 $sudo mkdir <em>hadoop</em> 到达/<em>hadoop</em> $sudo mkdir name $sudo mkdir data 2、配置<em>hadoop</em> **core-size.xml
06: 完全分布式 、 节点管理 、 NFS网关
Top NSD ARCHITECTURE DAY06 案例1:安装与部署 案例2:Hadoop词频统计 案例3:节点管理 案例4:NFS配置 1 案例1:安装与部署 1.1 问题 本案例要求: 对mapred和yarn文件进行配置 验证访问Hadoop 1.2 方案 在day05准备好的环境下给master (nn01)主机添加ResourceManager的角色,在nod...
在安装redis-stat出错
出现错误: /<em>usr</em>/<em>local</em>/lib/ruby/2.1.0/rubygems/core_ext/kernel_require.rb:55:in `require': <em>cannot</em> load such file -- redis-<em>stat</em> (LoadError) from /<em>usr</em>/<em>local</em>/lib/ruby/2.1.0/rubygems/core_ext/kernel_re
hadoop启动脚本分析:start-all.sh
为了加深对Hadoop的理解,慢慢前进: ---------------------------------------------------------- 调用顺序: 1.先调用(<em>hadoop</em>)\libexec\<em>hadoop</em>-config.sh  HADOOP_CONF=...   //--config参数 2."${HADOOP_HDFS_HOME}"/sbin/start-df
Hadoop hdfs常用命令
以下是2.6版本以后的命令 1. 文件操作 (1) 列出HDFS下的文件  <em>hdfs</em> dfs -ls (2) 列出HDFS文件下名为in的文档中的文件 <em>hdfs</em> dfs -ls in (3) 上传文件 将当前目录下的test1文件上传到HDFS上并重命名为test: <em>hdfs</em> dfs -put test1 test (4) 文件被复制到本地系统中 将HDFS...
redis(1)——Ubuntu下安装redis
redis安装   1、首先需要安装gcc,一般Ubuntu系统都已经提前安装好了 sudo apt-get install gcc 2、把下载好的redis-3.2.11.tar放到 /<em>usr</em>/<em>local</em> 文件夹下 3、进行解压 tar -zxvf redis-3.2.11.tar 4、进入到redis-3.2.11目录下,进行编译 make,这个地方需要使用sudo指令,不然会报错
动态库相关问题解决方法
1:列出所有的加载库的路径: hkbdm@ubuntu:/etc/ld.so.conf.d$ strings /etc/ld.so.cache | grep GL libQtOpenGL.so.4 /<em>usr</em>/lib/x86_64-linux-gnu/libQtOpenGL.so.4 libGLU.so.1 /<em>usr</em>/lib/x86_64-linux-gnu/libGLU.so.1 li
hadoop第二步:将hadoop的HDFS替换成KFS
[color=red][b]原创文章:转载请注明出处http://wangwei3.iteye.com/blog/895867[/b][/color] 最近需要把<em>hadoop</em>的HDFS替换成KFS。 其实具体性能的差异我还没有测试过。不过理论上说,C+写的KFS应该在性能上比HDFS更胜一筹。 关于底层的FS的支持。<em>hadoop</em>的扩展性着实不错。KFS便是其中一种 那么如何配置呢? 首先...
Elasticsearch 安装和后台运行(真实有效,Mac版本已经验证)
如何安装一个程序 在日常的工作和学习中,例如学习一个新技术,经常需要安装一些程序,那么这个时候,最推荐的就是区技术的官网,学习最新的安装方法,进行安装。 一、Mac安装Elasticsearch 关于Elasticsearch的安装,在官网安装解释中说的很明确。 官方安装地址 其他版本的我暂时没有验证过,我在此仅验证一下Mac版本的。 在macOS上,Elasticsearch也...
HBase启动不了的一个原因处理
几天没有<em>启动</em>hbase,今天重新<em>启动</em>,却发现 HRegionServer没有<em>启动</em>,  到 region server 查看 jps,里面只有HQuorumPeer,没有 HRegionServer。  于是就单独<em>启动</em>:  Java代码   hbase-daemon.sh --config /<em>usr</em>/<em>local</em>/hbase/hbase-conf start regions
在eclipse上 运行hadoop 2.6.4 出现的问题: 权限问题
1. Exception in thread "main" ExitCodeException exitCode=1: chmod: 无法访问"/<em>usr</em>/<em>local</em>/<em>hadoop</em>/tmp/mapred/sanshanxiashi/zhj0307276773657/.sanshanxiashi/job_<em>local</em>276773657_0001": 没有那个文件或目录 这个问题不是没有文件,是
Hadoop安装与启动(CDH5.6)
注意事项:[]为替换部分,基于cloudera的<em>hadoop</em>-2.6.0-cdh5.6.0Hadoop运行模式 单机:Hadoop的默认模式 伪分布:所有守护进程都运行在一个节点上。 完全分布模式:守护进程运行在多个节点上,真正的集群。 以下是完全分布式安装步骤,所有节点均用root用户执行。 准备工作1.在每个节点新建<em>hadoop</em>用户,相同的密码。 useradd <em>hadoop</em> passwd
hadoop 用户创建data目录时 DataNode无法启动
场景:Centos 6.4 X64      <em>hadoop</em> 0.20.205 配置文件 <em>hdfs</em>-site.xml      dfs.name.dir /<em>usr</em>/<em>local</em>/<em>hadoop</em>/<em>hdfs</em>/name dfs.data.dir /<em>usr</em>/<em>local</em>/<em>hadoop</em>/<em>hdfs</em>/data dfs.replication 1
hadoop 2.8.3 集群环境搭建
<em>hadoop</em> 2.8.3集群环境搭建 Linux : CentOS 7 <em>hadoop</em>版本: <em>hadoop</em>-2.8.3 JDK: 1.8.0_161 这里打算直接root用户,搭建3个节点的<em>hadoop</em>集群环境。先关闭防火墙,安装成功后,<em>启动</em>哪里报错再针对性开放端口。 /etc/hosts 192.168.247.129 master 192.168.247.131 sla...
Hadoop的namenode无法启动问题(50070无法访问,50030可以访问)
2013-08-31 10:29:31,241 ERROR org.apache.<em>hadoop</em>.<em>hdfs</em>.server.namenode.FSNamesystem: FSNamesystem initialization failed.java.io.FileNotFoundException: /opt/data/<em>hadoop</em>/<em>hdfs</em>/name/current/VERSION (Permiss
hadoop2.6.0版本集群环境搭建
一、环境说明 1、机器:一台物理机 和一台虚拟机 2、linux版本:[spark@S1PA11 ~]$ cat /etc/issue Red Hat Enterprise Linux Server release 5.4 (Tikanga) 3、JDK: [spark@S1PA11 ~]$ java -version java version "1.6.0_27" Java(TM
二、hadoop伪分布搭建
Ubuntu14.04安装<em>hadoop</em>2.6伪分布环境
基于java 1.8 ,三台centOS虚拟机下搭建hadoop-2.9.2环境(超详细)
首先准备好虚拟机环境,安装好系统,最好是能上外网,具体安装方法这里不详述。具体上网设置看我的另外一篇博客。 搭建前文件准备:  1.jdk1.8.0_111.tar.gz  2.<em>hadoop</em>-2.9.2.tar.gz 设置三台虚拟机IP和HOSTNAME(三台设置都是一样的) 192.168.135.128 <em>hadoop</em>01     //master这个要设置你自己的虚拟机IP 1...
hadoophadoop-0.20.2安装找不到JAVA_HOME解决办法
转载:http://p-x1984.iteye.com/blog/710337 在安装<em>hadoop</em>-0.20.2时出现了找不到JAVA_HOME,配置方法跟官方的版本一致,具体请参考前边的文章或者网上的文档。配置好以后,运行start-all.sh时,确出现如下的报错:  ===========================================================
hadoop常见错误及解决办法!
1:Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out  Answer: 程序里面需要打开多个文件,进行分析,系统一般默认数量是1024,(用ulimit -a可以看到)对于正常使用是够了,但是对于程序来讲,就太少了。 修改办法: 修改2个文件。        /etc/security/limits.
nginx启动报错找不到nginx.pid
nginx 新部署<em>启动</em>报错: nginx: [error] open() "/<em>usr</em>/<em>local</em>/nginx/<em>logs</em>/nginx.pid" failed (2: No such file or directory) 只需执行:/<em>usr</em>/<em>local</em>/nginx/sbin/nginx -c /<em>usr</em>/<em>local</em>/nginx/conf/nginx.conf 再重新<em>启动</em>即可
hdfs文件的操作常用命令
在<em>hdfs</em>目录中,创建/test目录 [root@Master current]# <em>hadoop</em> fs -mkdir /test 查看ls命令 [root@Master current]# <em>hadoop</em> fs -ls /test 在本地生成一个文件 [root@Master dfs]# ifconfig >> /1.txt 将本地文件复制到<em>hdfs</em>的/test [root@Maste
Nginx启动提示找不到libpcre.so.1解决方法
转自:http://www.qttc.net/201208194.html <em>启动</em>nginx<em>提示</em>:error while loading shared libraries: libpcre.so.1: <em>cannot</em> open shared object file: No such file or directory,意思是找不到libpcre.so.1这个模块,而导致<em>启动</em>失败。
hadoop集群启动失败的一些常见问题
1.没有关闭防火墙 2.没有生效配置文件 [netlab@master ~]$ source ~/.bash_profile 3.Hadoop中的配置文件是添加,不是替换 4.配置免密钥登录时注意用户的统一;多次配置需删除.ssh在生成密钥对,重启虚拟机 5.(1)格式化一次 <em>启动</em>:start-all.sh (2)格式化多次: ①关闭集群 ②删除<em>hadoop</em>data目录  
hive启动报错,找不到spark的jar包们
类型下面的报错 <em>cannot</em> access /<em>usr</em>/<em>local</em>/spark/lib/spark-assembly-*.jar:  No such file or directory 编辑你的hive<em>启动</em>脚本 vim /<em>usr</em>/<em>local</em>/hive/bin/hive更改116行的内容,我的版本是1.2.2的hive if [[ -n "$SPARK_HOME" ]] then
hadoop2.6.1 的搭建与启动
<em>hadoop</em>2.6.1的配置 cd <em>hadoop</em>2.6.1/etc/<em>hadoop</em> vim <em>hadoop</em>-env.sh 添加Java环境 export JAVA_HOME=/<em>usr</em>/<em>local</em>/src/jdk1.8.0_172   vim yarn-env.sh  添加Java环境 export JAVA_HOME=/<em>usr</em>/<em>local</em>/jdk1.8.0_172   vim sl...
熟悉常用的 Linux 操作和 Hadoop 操作
1)cd 命令:切换目录(1) 切换到目录/<em>usr</em>/<em>local</em>。(2) 切换到当前目录的上一级目录(3) 切换到当前登录 Linux 系统的用户自己的主文件夹2)ls 命令:查看文件与目录查看目录/<em>usr</em> 下的所有文件和目录3)mkdir 命令:新建目录(1) 进入/tmp 目录,创建一个名为 a 的目录,并查看/tmp 目录下已经存在哪些目录。(2) 进入/tmp 目录,创建目录 a1/a2/a...
大数据技术之Hadoop(入门)第4章 Hadoop运行模式
Hadoop运行模式包括:本地模式、伪分布式模式以及完全分布式模式。 Hadoop官方网站:http://<em>hadoop</em>.apache.org/ 4.1 本地运行模式 4.1.1 官方grep案例 1)创建在<em>hadoop</em>-2.7.2文件下面创建一个input文件夹 [atguigu@<em>hadoop</em>101 <em>hadoop</em>-2.7.2]$ mkdir input 2)将<em>hadoop</em>的xml配置文...
关于hadoop集群启动后,localhost/50070和localhost:50070的问题
今天搭建的<em>hadoop</em>集群,正常<em>hadoop</em> namenode -format之后,用start-all.sh一键<em>启动</em>后,发现本地的站点<em>local</em>host:50070和<em>local</em>host:8088怎么也打不开,尝试数次后,发现是自己的习惯所致,正常站点为<em>local</em>host:50070,我输入的是<em>local</em>host/50070,特此记录下。 ...
CentOS6.3安装Hadoop2.6.0_伪分布式配置
本文介绍了在CentOS6.3下安装Hadoop2.6.x的过程。采用伪分布式安装。
Hive在spark2.0.0启动时无法访问spark-assembly-*.jar的解决办法
1、问题描述 自从spark2.0.0发布之后,每次<em>启动</em>hive的时候,总会发现一个小问题,<em>启动</em> hive --service metastore的时候,会报一个小BUG: 无法访问/lib/spark-assembly-*.jar 分析其源码架构,发现主要原因是:在//bin/hive文件中,有这样的命令:加载spark中相关的JAR包。   但是spark升级到spark2以后,原
hadoop配置常见错误及解决办法
Incompatible namespaceIDs  解决办法 找到配置文件<em>hdfs</em>-site.xml中 dfs.data.dir /opt/<em>hadoop</em>/<em>hdfs</em>/data 删除data目录 Can not start task tracker because java.io.IOExc
php安装完成以后要复制php.ini文件
直接#find   / -name "php.ini"找不到,是因为安装php的时候没有复制配置文件php版本变化以后ini文件名有变php.ini-production对应于php.ini-recommendedphp.ini-development对应于php.ini-dist 二者差异?由于版本更新,这些文件有了新的命名:php.ini-production对应于php.ini-recomm
Spark 环境搭建 (hadoop之上)
1、前提是Hadoop环境已经搭建完成,ssh当然也已经配置完成,官网下载软件包: scala-2.11.0.tgz spark-2.1.0-bin-<em>hadoop</em>2.6.tgz 使用了两台虚拟机master 和slave01,其中master是Hadoop的namenode节点所在,同时也配置了一个datanode,即:master担任主机、也担任一个从机,slave01担任一个从机,同
Mac下Hadoop 出现问题(一)
Mac下的Hadoop,和网上别人的教程以及官方文档差别好像很大,我的是2.7.1版本,也可能是版本问题。 出了问题研究了很久,网上也找了很久。 1.tcd-pc$ <em>hdfs</em> dfs -put 2.7.1/tcd.docx input 这样是会报错的 解决方法:在input前面加上/  就是/input 2.tcd-pc$ jps 1637 FsShell 2341 Na
unbuntu安装FastDFS遇到的问题以及配置
1. 首先是准备工作:需要我们下载两个文件, FastDFS_v3.06.tar.gz libevent-2.0.17-stable.tar.gz 这里就不赘述他们的安装过程了,可是注意一点儿就是如果有需要HTTP连接的需要在make.sh中将#WITH_HTTPD=1改成WITH_HTTPD=1,然后在安装,当我在安装FastDFS时报错了: 经过在网上的查
spark2.0.2环境搭建(hadoop2.7.3)——启动关闭
spark2.0.2环境搭建(<em>hadoop</em>2.7.3)——<em>启动</em>关闭 本文主要讲述spark如何在<em>hadoop</em>环境下搭建。阅读完本文之后,能够正常的<em>启动</em>关闭spark。 配置前提:配置好<em>hadoop</em>(<em>hdfs</em>和yarn都能正常)。 下面,上货。 首先去spark的官网上下载 1、下载完成后,解压到linux中 tar -zxvf spark-2.0.2-b
Hadoop常见报错解答
1、<em>启动</em>Hadoop后发现datanode没有<em>启动</em>,报如下错误: WARN org.apache.<em>hadoop</em>.<em>hdfs</em>.server.common.Storage: Failed to add storage directory [DISK]file:/opt/<em>hadoop</em>/<em>hadoop</em>-2.7.3/<em>hdfs</em>/data/ java.io.IOException: Incompatible c
linux下安装配置mongodb
一:下载 下载地址: https://www.mongodb.org/   二:安装 2.1 解压 [root@ser6-51 download]# ls -ltr total 71552 -rw-r--r-- 1 root root 32979820 Jun 15 10:01 mysql-5.6.20.tar.gz drwxr-xr-x 4 root root     4096
CentOS 7.2 64位 安装hadoop之后无法正常启动hdfs问题
分别在两台linux系统上安装<em>hadoop</em>时,./start-dfs.sh<em>启动</em><em>hdfs</em>时均出现报错 19/02/02 22:24:14 WARN util.NativeCodeLoader: Unable to load native-<em>hadoop</em> library for your platform... using builtin-java classes where applicable ...
【若泽大数据实战第十七天】Hadoop-2.6.0-cdh5.7.0安装详解
前言:apache <em>hadoop</em>版本告一段落,现在安装新的cdh版本的<em>hadoop</em>下载Hadoop和JDK下载Hadoop地址:http://archive.cloudera.com/cdh5/cdh/5/<em>hadoop</em>-2.6.0-cdh5.7.0.tar.gz下载jdk:注册甲骨文账号下载,推荐1.7版本安装JDK解压jdk压缩包 tar -zxvf /home/<em>hadoop</em>/software...
Hadoop错误汇总
1.ERROR org.apache.<em>hadoop</em>.<em>hdfs</em>.server.datanode.DataNode: java.io.IOException: Incompatible namespaceIDs in /var/lib/<em>hadoop</em>-0.20/cache/<em>hdfs</em>/dfs/data: namenode namespaceID = 240012870; datanode names
CentOs7.0环境中编译安装部署zabbix-server端
CentOs7.0环境中编译安装部署zabbix-server端 首先需要关闭selinux [root@bogon ~]# sed -i 's/SELINUX=.*/SELINUX=disabled/' /etc/selinux/config [root@bogon ~]# setenforce 0 关闭防火墙 [root@bogon ~]# systemctl sto...
hadoop常见异常
1. org.apache.pig.backend.executionengine.ExecException: ERROR 4010: Cannot find <em>hadoop</em> configurations in classpath (neither <em>hadoop</em>-site.xml nor core-site.xml was found in the classpath).If you plan t
Hadoop全分布部署
<em>hadoop</em>全分布部署 规划: cmaster:192.168.245.130 cslave0: 192.168.245.131 cslave1: 192.168.245.132 Hdfs: NameNode DataNode SecondaryNameNode Yarn: ResourceManager Scheduler ApplicationManager NodeMa...
hadoop安装及其注意事项
安装<em>hadoop</em>步骤: 一linux系统配置 两台主机都要配置 root用户 1)配置时钟同步 2)配置主机名 3)使用setup配置网络环境(ip地址关闭防火墙) 4)关闭防火墙 5)配置hosts列表(用主机名代替ip 建立主机名与ip一一对应的关系) 6)安装jdk(apache要用jdk <em>hadoop</em>基于apache) 7)免密钥登陆(一台服务器一个客户端) 二 hado
Hadoop 从 hdfs 中拷出文件权限不够
问题描述使用 -get 命令从 <em>hdfs</em> 中拷出文件时,<em>提示</em>权限不够,如下:<em>hadoop</em>@<em>local</em>host:/<em>usr</em>/<em>local</em>/<em>hadoop</em>$ <em>hadoop</em> fs -get /input/LICENSE.txt /home/daniel/tmp/ # get: /home/daniel/tmp/LICENSE.txt._COPYING_ (权限不够)问题分析可能出现问题的原因有三方面
JavaScript使用手册下载
还是JavaScript,哈哈,不会JavaScript不行啊,有好书我就分享,web发展这么快JavaScript是有很大功劳的。 相关下载链接:[url=//download.csdn.net/download/gengchenhui/2222532?utm_source=bbsseo]//download.csdn.net/download/gengchenhui/2222532?utm_source=bbsseo[/url]
3G移动位置服务系统的设计与实现下载
本文以J2ME为手机开发平台,姨SVG为矢量显示介质,讨论与研究基于3G移动位置服务系统的设计与实现。 相关下载链接:[url=//download.csdn.net/download/piaopiao8786/2339124?utm_source=bbsseo]//download.csdn.net/download/piaopiao8786/2339124?utm_source=bbsseo[/url]
超级屏幕录像机(破解版)下载
屏幕动态录像。可用于录制视频、屏幕动态变化等等。 相关下载链接:[url=//download.csdn.net/download/qin_huiling/2454727?utm_source=bbsseo]//download.csdn.net/download/qin_huiling/2454727?utm_source=bbsseo[/url]
文章热词 机器学习教程 Objective-C培训 交互设计视频教程 颜色模型 设计制作学习
相关热词 mysql关联查询两次本表 native底部 react extjs glyph 图标 云计算hdfs课程设计 出租车大数据hdfs教程
我们是很有底线的