Ubuntu 18.04 安装 Hadoop-3.1.1

基本安装的5个步骤：（步骤来自课本） （1）创建Hadoop用户 （2） 安装java （<em>3</em>） 设置SSH无密码登录 （4）单机安装配置 （5） 伪分布式安装配置   安装前准备： 1、创建一个新用户 <em>hadoop</em>, 密码再使用passwd设置 useradd <em>hadoop</em> 2、确保本地已经安装好java，因为Hadoop本身是用Java语言编写的，所以需要Java程序的运行...

Hive系列(三)Hive环境安装之MYSQL

前言 前面介绍了Hive的基本环境安装，Hive环境中的Metastore默认存储在自带的derby数据库中，推荐使用MySQL存储Metastore，本篇将介绍安装MySQL来存储MetaStore; Hive系列(二)Hive基本环境安装 一、MySql安装 1、安装包准备 1）查看<em>mysql</em>是否安装，如果安装了，卸载<em>mysql</em> （1）查看 # rpm -qa|grep my...

Hadoop2.9+Hive3.0+Mysql8.0安装配置，看这一篇就够了

由于以上均是最新版本，网上以往的资料用起来几乎都有多少的错误，不少的错误真的会把人搞疯，近10篇博文结合我自己在外网上找到的一些方法，记录下来。 <em>hadoop</em>的安装推荐看这一篇：http://dblab.xmu.edu.cn/blog/install-<em>hadoop</em>/ 写配置文件的时候注意更改版本信息，我是在一台主机上进行的伪分布式配置。 <em>hive</em>的安装与配置：http://dblab.xmu...

HIve+Mysql安装配置

-

Hive+mySql遇到的问题和解决办法

问题1： Exception in thread "main" java.lang.RuntimeException: org.apache.<em>hadoop</em>.ipc.RemoteException(org.apache.<em>hadoop</em>.ipc.StandbyException): Operation category READ is not supported in state standby .

HIVE+mysql环境搭建及简单应用

Hive环境搭建之前需要搭建hdfs分布式 简单的分布式搭建点击这里 HA（两个namenode）高可用性的<em>hadoop</em>完全分布式环境配置点击这里Hive只在一个节点上安装即可1.上传tar包2.解压 tar -zxvf <em>hive</em>-0.9.0.tar.gz -C /cloud/ <em>3</em>.配置<em>mysql</em> metastore（切换到root用户）1).配置HIVE_HOME环境变量 export

Hadoop集群+Hive+MySQL搭建

** Hadoop集群+Hive+MySQL搭建 ** 1.集群规划 集群节点分配: 主机名 主机IP master 192.16<em>8</em>.100.100 slave1 192.16<em>8</em>.100.101 slave2 192.16<em>8</em>.100.102 slave<em>3</em> 192.16<em>8</em>.100.10<em>3</em> 软件版本: 软件名称 版本号 Java 1.<em>8</em>.0_152 ...

Ubuntu18.04安装hadoop

一、虚拟机中Linux的安装 <em>hadoop</em>-0.20.2.tar.gz只能在Linux中安装。 Hadoop相当于一个服务器，类似于Apache服务器的角色。我们可以在Linux上运行<em>hadoop</em>0.20.2。 二、Java的安装 Hadoop是基于Java开发的，，在Linux配置好Java环境。 https://blog.csdn.net/weixin_<em>3</em><em>8</em><em>8</em><em>8</em><em>3</em><em>3</em><em>3</em><em>8</em>/articl...

Hadoop3.0.3 + hive3.0.0填一个大坑

Hadoop<em>3</em>.0.<em>3</em> + <em>hive</em><em>3</em>.0.0填一个大坑 Hadoop<em>3</em>.0.<em>3</em> + <em>hive</em><em>3</em>.0.0填一个大坑 1.问题 2. 配置过程 2.1. 解压文件配置环境变量 2.2. 配置<em>hive</em>-env.sh 2.<em>3</em>. 配置<em>hive</em>-site.xml 2.4. 初始化<em>hive</em> <em>3</em>. 总结 坑一：Schema initialization FAILED 坑二：Unable to in...

Hadoop 3.0.3 + Hive3.0安装

#前言     今天被问题卡了半天，最后察觉会不会datanode访问不了呢？在团哥的指导下...才发现自己犯了个愚蠢的错误,哎，不说罢。丢人，太粗心了。经过这几天，终于把Hadoop <em>3</em>.0.<em>3</em> 和 Hive <em>3</em>.0 搭建好了..不容易啊，搭建好了之后如何使用呢？木知....   #上码 1,下载,解压,变名     wget http://mirrors.hust.edu.cn/ap...

Hadoop+Hive+Mysql环境搭建

文章来源于网络，仅供自己学习，根据自己需求，做了一些修改~ 原文地址：https://blog.csdn.net/pistolove/article/details/76<em>3</em>015<em>3</em><em>3</em>   1、了解 1、<em>hive</em>是一个数据仓库  2、<em>hive</em>基于<em>hadoop</em>。  总结为：<em>hive</em>是基于<em>hadoop</em>的数据仓库。 Hive是建立在Hadoop文件系统上的数据仓库架构，并对存储在HDFS中...

ubuntu系统的mysql+hadoop+hive环境搭建

$ mkdir /usr/lib/jvm #创建jvm文件夹 $ sudo tar zxvf jdk-7u<em>8</em>0-linux-x64.tar.gz -C /usr/lib #/ 解压到/usr/lib/jvm目录下 $ cd /usr/lib/jvm #进入该目录 $ mv jdk1.7.0_<em>8</em>0 java #重命名为java $ vi

Hadoop+Hive+Mysql安装文档.

讲解了如何安装基于<em>hive</em>的元数据在远端存储到Mysql的方案，步骤详细适合菜鸟安装使用

ubuntu18.04搭建hadoop步骤

<em>ubuntu</em>1<em>8</em>.04或者centos7搭建<em>hadoop</em>集群，可以参考博客https://blog.csdn.net/u01<em>3</em><em>3</em>057<em>8</em><em>3</em>/article/details/<em>8</em><em>3</em>744122

自己的HADOOP平台（三）：Mysql+hive远程模式+Spark on Yarn

Spark和<em>hive</em>配置较为简单，为了方便Spark对数据的使用与测试，因此在搭建Spark on Yarn模式的同时，也把Mysql + Hive一起搭建完成，并且配置Hive对Spark的支持，让Spark也能像Hive一样操作数据。 前期准备 scala-2.11.11.tgz spark-2.1.1-bin-<em>hadoop</em>2.7.tar.gz <em>hive</em>-1.2.1.tar.g

Ubuntu16.04 Hive安装配置

说来自己断断续续自学大数据Hadoop已经有一段时间了，不过觉得还是晕乎乎的，各种看了就忘，好记性不如烂笔头，还是记录下吧，也希望能对后面自学的人能有所帮助。 我的系统环境是Ubuntu16.04 我安装的软件：       Mysql      Jdk1.<em>8</em>.0_121      apache-<em>hive</em>-2.1.1-bin      <em>mysql</em>-connector-java-5.1.

hadoop实战(二)ubuntu18.04搭建hadoop集群

一、 安装JDK    官网下载jdk压缩包并解压， vim /etc/proflie 或者修改vi ~/.bashrc 加上如下： export JAVA_HOME=/home/<em>hadoop</em>/jdk1.<em>8</em>.0_161 export HADOOP_HOME=/home/<em>hadoop</em>/<em>hadoop</em>-2.9.1 export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_H...

Linux Ubuntu 18.04实战安装大数据Hadoop 3.1.2版本 单节点模式

Linux Ubuntu 1<em>8</em>.04实战安装大数据Hadoop <em>3</em>.1.2版本。这里分别选择最新的Ubuntu系统 1<em>8</em>.04，以及最新的Hadoop版本<em>3</em>.1.2 Hadoop是开源免费的大数据方案，官方网站https://<em>hadoop</em>.apache.org/，核心的组件都是使用Java开发，也是目前也是最流行的，使用最广泛的大数据解决方案，包括几十个框架和工具。 <em>hadoop</em>有<em>3</em>种模式，我们先...

安装Hive3.1.1

安装Hive 1、下载<em>hive</em>，将安装包放置到服务器目录，进入你放置<em>hive</em>安装包的目录，解压。 cd /opt tar -zxvf apache-<em>hive</em>-<em>3</em>.1.1-bin.tar.gz 2、配置<em>hive</em>环境变量。（非必须） echo &amp;amp;amp;amp;amp;quot;export HIVE_HOME=$PWD/apache-<em>hive</em>-<em>3</em>.1.1-bin&amp;amp;amp;amp;amp;quot; &amp;amp;amp;amp;amp;amp;gt; /etc/profi

hadoop2.7迁移到hadoop3.1，hive数据迁移

本文采用distcp的方式迁移数据，有关distcp如何使用，请移步如下链接自行学习： https://<em>hadoop</em>.apache.org/docs/r<em>3</em>.1.0/<em>hadoop</em>-distcp/DistCp.html 关于distcp的几点说明： 1.如果跨版本迁移，官网推荐源目标要使用webhftp协议（此处有坑，<em>hadoop</em>0.x和1.x时时hftp协议，<em>hadoop</em>2.x把hftp协议名...

hive3.1.1基于hadoop3.1.1安装

Mysql创建数据库 root登录<em>mysql</em>执行 use <em>mysql</em>; CREATE USER '<em>hive</em>'@'%' IDENTIFIED BY '12<em>3</em>456'; Grant all privileges on *.* to '<em>hive</em>'@'%' identified by '<em>3</em>XIvERZW' with grant option; flush privileges; <em>hive</em> ...

Hive 3.1.1安装与配置

前言：<em>hive</em>的水贼深，安装其他教程安装报了很多错。如果有错误的地方，欢迎大家留言。 环境 linux1<em>8</em>.04 Hadoop<em>3</em>.2.0 <em>mysql</em><em>8</em>.0.12 <em>hive</em><em>3</em>.1.1 安装Mysql 在Linux上安装<em>mysql</em> 之前的博客写过<em>mysql</em>的安装了。这里不再赘述。 下载<em>hive</em> 直接在官网载 http://www.apache.org/dyn/closer.cgi/<em>hive</em>/ 配置环境...

3-hadoop之数据仓库hive(三) Hive 基础应用

一、Hive基础概念 1.<em>hive</em>数据模型 每个库的下面呢有一些表，横向分区，纵向分桶 分区：每个分区都为一个物理文件夹，对于一个不在表中存在的字段进行分 区，即分区的字段为虚字段，在这种水平的分层后数据是完全物理 隔离的之间没有关系 分桶：各分桶相互独立，最终形成一个完整的数据块，分桶采用的是实字段 每个分桶即为一个文件，按字段的哈希值分桶 二、HiveSql 按数据操...

Ubuntu18.04 hadoop2.7.7+hbase2.0.5单机伪分布式环境搭建

系统：Ubuntu1<em>8</em>.04 一、添加普通用户 1.使用root用户登录<em>ubuntu</em> 2.创建名为 dean的普通用户，使用/bin/bash作为shell sudo useradd -m dean -s /bin/base <em>3</em>.设置密码 sudo passwd dean 输入两次密码： 4.添加管理员权限 sudo adduser dean sudo 5....

Hadoop3.0.0在Ubuntu16.04上分布式部署

记录一下Hadoop<em>3</em>.0.0在<em>3</em>个虚拟机中模拟分布式安装的过程，用于日后练习Hadoop和MR相关 欢迎访问排版更好的原文链接，https://www.casscw.cn/index.php/arc<em>hive</em>s/65/ 虚拟机 选择的是Virtul Box，占用资源比较少 - 系统：Ubuntu Server 16.04 x64 - Virtual Box 5.2.6 - PC配置：1

ubuntu 18.04LTS hadoop 3.0.3安装

<em>ubuntu</em>1<em>8</em>.04 LTS安装后，更新<em>hadoop</em>系列安装。这次针对<em>hadoop</em>，系统和安装环境如下:<em>ubuntu</em>1<em>8</em>.04 LTS和<em>hadoop</em><em>3</em>.0.<em>3</em>、jdk1.<em>8</em>.0_172。 一、安装ssh sudo apt-get install ssh openssh-server 二、使用ssh无密登陆 ssh-keygen -t rsa cd ~/.ssh cat id...

Ubuntu安装与调试hadoop3.0

安装调试了两个晚上，终于在虚拟机上把<em>hadoop</em>的环境搭建好了，中间遇到一些问题这里一并记录一下。 1. 文档 安装<em>hadoop</em>的首要任务当然是打开官网看文档中的安装指南。中文的资料也有，但是还是会因为版本和系统问题遇到一些坑，这里统一使用官网的推荐的各版本搭配使用，效果更佳。 官网文档地址 &amp;amp;gt;&amp;amp;gt;&amp;amp;gt; Go! 2. 系统和软件依赖 2.1 环境和依赖如...

【Ubuntu】Linux下Hive连接MYSQL数据库的安装配置

1、找到安装包位置，解压2、创建软连接：ln -sapache-<em>hive</em>-1.2.2-bin <em>hive</em><em>3</em>、环境变量的配置：vi /etc/profile         HIVE_HOME=/simple/<em>hive</em>（Hive的安装目录）      Export PATH=$HIVE_HOME/bin:$PATH4、重新加载配置文件：source /etc/profile5、启动<em>hadoop</em>集群（数...

MySQL 8.0.12下载安装、创建用户、授权操作指南

一、MySQL下载 下载地址：https://www.<em>mysql</em>.com/downloads/ 打开下载地址后找到最下面的社区开源版本如下图 点击进入后选择下图中MySQL Community Server 下载。 如下图选择下载： 二、安装MySQL以及ROOT登录 下载后是一个压缩包，解压到你要安装的路径后文件如下图，可以看到这时没有my.ini文件 在根目录下新建my.ini文件，如...

Ubuntu 17.04 安装Hadoop 3.0.0-beta1

前言最近要准备一些大数据的赛事,所以需要搭建Hadoop环境.踩了无数坑.终于给弄好了. jdk的配置jdk不能安装Ubuntu默认的default-jdk的环境,要从官网上下载,然后搭建JAVA环境,不然jps命令是找不到的. 官网下载地址:http://www.oracle.com/technetwork/java/javase/downloads/jdk<em>8</em>-downloads-21<em>3</em><em>3</em>151.

虚拟机ubuntu18.04环境下hadoop2.9和hive3.0安装

一、基础环境和下载环境：<em>ubuntu</em>1<em>8</em>,64位下载<em>hadoop</em>2.9.1 https://mirrors.tuna.tsinghua.edu.cn/apache/<em>hadoop</em>/common/下载jdk1.<em>8</em>.0 http://www.oracle.com/technetwork/java/javase/downloads/jdk<em>8</em>-downloads-21<em>3</em><em>3</em>151.html二、创建HADOOP...

Hadoop3.1.1+Ubuntu18.04虚拟机三种部署方式

一．安装虚拟机： 在<em>3</em>台电脑中或者<em>3</em>个虚拟机中安装Ubuntu系统，并测试三台电脑能互相ping通 二．安装Java： 1. 在<em>3</em>台Ubuntu电脑中安装Oracle Java <em>8</em> (由于Hadoop对高版本jdk支持不好，所以若jdk版本大于<em>8</em>，卸载后重新安装。卸载 指令： 移除所有 Java相关包 (Sun, Oracle, OpenJDK, IcedTea plugins, GI...

Ubuntu18.04配置Hadoop

Ubuntu1<em>8</em>.04配置Hadoop 1. 实验环境 64位<em>ubuntu</em>1<em>8</em>.04虚拟机（master，slave1，slave2） 需要的软件： <em>hadoop</em><em>3</em>.1.0 jdk-<em>8</em>u171-linux-x64 2. 实验步骤 master、slave1、slave2都需要配置 修改各个节点的主机名，使其与该节点的角色名一致，如 master,slave1,slav...

Ubuntu18.04搭建Hadoop3.0.3

Ubuntu1<em>8</em>.04搭建Hadoop<em>3</em>.0.<em>3</em> 1. 创建<em>hadoop</em>用户 首先确保在root账号下，创建一个<em>hadoop</em>用户 sudo useradd -m <em>hadoop</em> -s /bin/bash 设置密码 sudo passwd <em>hadoop</em> 增加管理员权限 sudo adduser <em>hadoop</em> sudo 使用su <em>hadoop</em>即可进行切换 2. 安装SSH sudo apt ins...

ubuntu18.04环境下hadoop3.1,spark虚拟机分布式安装笔记

环境：Ubuntu1<em>8</em>.04 LTS系统虚拟机：选择的是Virtul Box，占用资源比较少 安装三个虚拟机，主机名分别是：master、slave01、slave02，用户名都设置为<em>hadoop</em>设置网络，桥接模式，可以实现局域网访问系统安装完毕后，更新系统，sudo apt update sudo apt upgrade同时安装vimsudo apt install vim修改hosts修改ho...

从0开始搭建Hadoop 3.0.1 和 Hive 2.3.3 环境

前言 要帮某人搭建一个Hive的环境。首先，做一个虚拟机，或者用云主机也可以；然后先安装Hadoop；再安装Hive. 环境说明： Ubuntu 16.04 Hadoop <em>3</em>.0.1 Hive 2.<em>3</em>.<em>3</em> 1. 先安装Hadoop 1.1 安装JRE或JDK 选择有多种，官方的是Oracle的JRE，另外还有OpenJDK等. 如果都装了，后面只要选一个来配置环境变量JAVA_H...

hadoop2.8.3 + hive2.3.3 + hbase0.98.24 + spark2.1.3安装

安装虚拟机 安装文件：CentOS-6.6-x<em>8</em>6_64-bin-DVD1.iso                       自定义硬件 内存增加到<em>8</em>G，处理器修改为4核   自动安装 永久修改hostname vim /etc/sysconfig/network HOSTNAME=bigdata.cqmfin.com ...

搭建Hadoop2.7.3+Hive2.1.1及MySQL(配置Hive+Hadoop）(二)

搭建Hadoop2.7.<em>3</em>+Hive2.1.1及MySQL

Hive之——hive本地模式配置，连接mysql数据库--Hive2.3.3+Hadoop2.9.0+MySQL5.7.18

转载请注明出处：https://blog.csdn.net/l102<em>8</em><em>3</em><em>8</em>6<em>8</em>04/article/details/<em>8</em>01600421、环境的基本说明     本文使用的是vmware10虚拟机安装unbuntu16.04（64位）环境，机器名为<em>hadoop</em>。     <em>hive</em>2.<em>3</em>.<em>3</em> ： apache-<em>hive</em>-2.<em>3</em>.<em>3</em>-bin.tar.gz     connect ： <em>mysql</em>-conn...

Hadoop安装全教程 Ubuntu16.04+Java1.8.0+Hadoop2.7.3

最近听了一个关于大数据的大牛的经验分享，在分享的最后大牛给我们一个他之前写好的关于大数据和地理应用demo。这个demo需要在Linux环境上搭建Hadoop平台。这次就简单的分享一下我关于在 Linux虚拟机上搭建Hadoop平台的一些经验和遇到的一些问题以及问题的解决办法。 首先我们这次搭建的环境是<em>hadoop</em>。<em>hadoop</em>实现了分布式文件系统，它可以部署在一些廉价的硬件环境上，并且提供了高

Ubuntu16.04安装Hadoop2.7.3教程

Ubuntu16.04安装Hadoop2.7.<em>3</em> 教程参考厦门大学数据库实验室 http://dblab.xmu.edu.cn/blog/install-<em>hadoop</em>/，遇到相关的地方有改动。作者：秦景坤日期：2017-4-20主要内部包括 环境配置和本地和伪分布本文档适合于原生Hadoop2，参考相关文档，亲自动手实践来一步一步搭建环境。转载请指明出处。环境本教程使用Ubuntu16.04 64位

ubuntu 18.04下配置Hadoop 3.0.3

                        <em>ubuntu</em> 1<em>8</em>.04下配置Hadoop <em>3</em>.0.<em>3</em>1.安装虚拟机设置Ubuntu操作系统（网上教程很多不再讲述）2.安装SSH,设置SSH无密码登陆$ sudo apt-get install openssh-server #安装SSH server $ ssh localhost #登陆SSH...

Ubuntu18.04 Hadoop 搭建

Ubuntu1<em>8</em>.04 Hadoop 搭建 一、操作环境 1.1 操作系统：Windows 10 64位 1.2 虚拟机：VMware Workstation Pro 14.1.2 二、安装包 2.1 Ubuntu Server 镜像：<em>ubuntu</em>-1<em>8</em>.04-live-server-amd64.iso 2.2 Java：jdk-<em>8</em>u1<em>8</em>1-linux-x64.tar.gz...

Ubuntu16.04环境下搭建Hadoop3.0.3伪分布式集群

    最近刚好赶上双11腾讯促销，于是抢购了一个<em>8</em>核16G内存的云服务器，加上业务上需要用到<em>hadoop</em>，<em>hive</em>，于是想搭建搭建一个<em>hadoop</em>分布式集群，但是限于自己手头上服务器数量不多，因此打算先搭建一个<em>hadoop</em>伪分布式集群。   首先介绍一下我的安装环境：   （1）java version        （2）hadopp version     接下来，开始我的环境搭...

Hadoop2.7.3 + Hive 2.1.0 + HBase 1.2.3 整合

首先需要一次搭建好<em>hadoop</em>，<em>hive</em>，hbase的环境，参考文档如下： http://blog.csdn.net/kunshan_shenbin/article/details/529<em>3</em><em>3</em>499 http://blog.csdn.net/kunshan_shenbin/article/details/529<em>3</em><em>8</em>294 http://blog.csdn.net/kunshan_sh

hadoop学习之HIVE（3.2）：hadoop2.7.2下配置hiveserver2启动远程连接

./<em>hive</em>只是启动本地客户端，往往用来测试，我们可以启动<em>hive</em> server2服务器用于远程连接，方便开发。 前提是配置好<em>hadoop</em>和<em>hive</em> 1，开启<em>hive</em> server服务：bin/<em>hive</em>server2 可查看服务是否开启：netstat -nplt | grep 10000 2，新开一个窗口，启动客户端，测试能否连接服务器： $ bin/bee

搭建Hadoop2.7.3+Hive2.1.1及MySQL(配置Hadoop）(一)

搭建Hadoop2.7.<em>3</em>+Hive2.1.1及MySQL

Hadoop生态上几个技术的关系与区别：hive、pig、hbase 关系与区别

Pig 一种操作<em>hadoop</em>的轻量级脚本语言，最初又雅虎公司推出，不过现在正在走下坡路了。当初雅虎自己慢慢退出pig的维护之后将它开源贡献到开源社区由所有爱好者来维护。不过现在还是有些公司在用，不过我认为与其使用pig不如使用<em>hive</em>。：） Pig是一种数据流语言，用来快速轻松的处理巨大的数据。 Pig包含两个部分：Pig Interface,Pig Latin。 Pig可

Linux中基于hadoop安装hive(CentOS7+hadoop2.8.0+hive2.1.1)

1下载<em>hive</em>2安装         2.1上载和解压缩         2.2配置环境变量         2.<em>3</em>对<em>hive</em>进行配置                   2.<em>3</em>.1 <em>hive</em>-site.xml相关的配置                                2.<em>3</em>.1.1新建<em>hive</em>-site.xml文件                                2....

Hadoop（三）——Hive和Hbase整合

如何创建一个与hbase共享数据的<em>hive</em>表set hbase.zookeeper.quorum=<em>hadoop</em>01:21<em>8</em>1,<em>hadoop</em>02:21<em>8</em>1,<em>hadoop</em>0<em>3</em>:21<em>8</em>1; set zookeeper.znode.parent=/hbase;//<em>hive</em> 创建表CREATE EXTERNAL TABLE hbase.hbase_<em>hive</em>02 (rowkey string,family1 ...

基于 CentOS 7.3.x + hadoop v2.9.0 集群的 Hive 2.3.2 的安装与使用

前言安装Apache Hive前提是要先安装<em>hadoop</em>集群，并且<em>hive</em>只需要在<em>hadoop</em>的namenode节点集群里安装即可：需要在namenode上安装，可以不在datanode节点的机器上安装。还需要说明的是，虽然修改配置文件并不需要把<em>hadoop</em>运行起来，但是本文中用到了<em>hadoop</em>的hdfs命令，在执行这些命令时你必须确保<em>hadoop</em>是正在运行着的，而且启动<em>hive</em>的前提也需要had...

基于hadoop3.1.0安装hive2.3.3

在已经安装好<em>hadoop</em><em>3</em>.1.0前提下。安装<em>hive</em>tar -zxf apache-<em>hive</em>-2.<em>3</em>.<em>3</em>-bin.tar.gz apache-<em>hive</em>-2.<em>3</em>.<em>3</em>-bin/ <em>hive</em>-2.<em>3</em>.<em>3</em>环境变量：export HIVE_HOME=/opt/package/<em>hive</em>-2.<em>3</em>.<em>3</em> export PATH=$PATH:$HIVE_HOME/bin使用<em>mysql</em>的mariadb作为<em>hive</em>的元数...

Hadoop学习（三）Hive安装

CentOS7安装<em>mysql</em>提示 ：No package <em>mysql</em>-server available. 第一步下载<em>mysql</em>源安装包: wget http://repo.<em>mysql</em>.com/<em>mysql</em>-community-release-el7-5.noarch.rpm 第二步安装<em>mysql</em>源: rpm -ivh <em>mysql</em>-community-release-el7-5.noarch.rp...

Hive学习之路 （二）Hive安装

目录 Hive的下载 Hive的安装 1、本人使用MySQL做为Hive的元数据库，所以先安装MySQL。 2、上传Hive安装包 <em>3</em>、解压安装包 4、修改配置文件 5、 一定要记得加入 MySQL 驱动包（<em>mysql</em>-connector-java-5.1.40-bin.jar）该 jar 包放置在 <em>hive</em> 的根路径下的 lib 目录 6、 安装完成，配置环境变量 ...

centos6.8平台上安装hive（基于Mysql6.5 和hadoop2.7.3伪分布集群下）

一、安装JDK 解压jdk-<em>8</em>u111-linux-x64.tar.gz 重命名文件夹 mv /opt/j dk-<em>8</em>u111 /usr/java 配置环境变量 使环境变量生效 二、<em>mysql</em>5.6安装（centos6.<em>8</em>） yum list installed | grep<em>mysql</em> yum -y remove<em>mysql</em>-libs.x<em>8</em>6_64 wgeth

有Mysql数据库的情况下为什么要用Hive数据库？

有Mysql数据库的情况下为什么要用Hive数据库？最近接到公司的一个需求，要求使用Hive数据库做数据查询。当时第一反应就是What？Hive是什么鬼？一脸懵逼状。（请原谅一个刚开始实习的Java实习生见识短浅）然后发现了<em>hive</em>数据库的一些问题。下面简单介绍一下Hive。网上对于<em>hive</em>与<em>mysql</em>的区别的文章也不是很多。so只能问问公司大牛们，看看他们是怎样理解的。由于 Hive 采用了 SQ

hive、mysql搭建(简洁明了5分钟完全搞定)

五、<em>hive</em>的安装(不同版本的<em>hadoop</em>尽量找相对应<em>hive</em>版本) 1、下载<em>hive</em>安装包---apache-<em>hive</em>-1.1.1-bin.tar 2、解压安装到opt下面   tar -zxvf apache-<em>hive</em>-1.1.1-bin.tar -C ~/opt/ <em>3</em>、配置环境变量 sudo gedit /etc/profile 在下面增加 export

hive安装及mysql配置

centOS7 <em>hive</em>安装以及配置MySQL 为<em>hive</em> metastore

Ubuntu下Hive配置（MySQL数据库的安装方式）

Hive只在一个节点上安装即可一、安装MySQL•Ubuntu 采用apt-get安装 •sudo apt-get install <em>mysql</em>-server •建立数据库<em>hive</em> •create database <em>hive</em> •创建<em>hive</em>用户,并授权 •grant all on <em>hive</em>.* to <em>hive</em>@’%’ identified by ‘<em>hive</em>’; •flush privi

程序员实用工具网站

目录 1、搜索引擎 2、PPT <em>3</em>、图片操作 4、文件共享 5、应届生招聘 6、程序员面试题库 7、办公、开发软件 <em>8</em>、高清图片、视频素材网站 9、项目开源 10、在线工具宝典大全 程序员开发需要具备良好的信息检索能力，为了备忘（收藏夹真是满了），将开发过程中常用的网站进行整理。 1、搜索引擎 1.1、秘迹搜索 一款无敌有良心、无敌安全的搜索引擎，不会收集私人信息，保...

我花了一夜用数据结构给女朋友写个H5走迷宫游戏

起因 又到深夜了，我按照以往在csdn和公众号写着数据结构！这占用了我大量的时间！我的超越妹妹严重缺乏陪伴而 怨气满满！ 而女朋友时常埋怨，认为数据结构这么抽象难懂的东西没啥作用，常会问道：天天写这玩意，有啥作用。而我答道：能干事情多了，比如写个迷宫小游戏啥的！ 当我码完字准备睡觉时：写不好别睡觉！ 分析 如果用数据结构与算法造出东西来呢？ ...

别再翻了，面试二叉树看这 11 个就够了~

写在前边 数据结构与算法： 不知道你有没有这种困惑，虽然刷了很多算法题，当我去面试的时候，面试官让你手写一个算法，可能你对此算法很熟悉，知道实现思路，但是总是不知道该在什么地方写，而且很多边界条件想不全面，一紧张，代码写的乱七八糟。如果遇到没有做过的算法题，思路也不知道从何寻找。面试吃了亏之后，我就慢慢的做出总结，开始分类的把数据结构所有的题型和解题思路每周刷题做出的系统性总结写在了 Github...

让程序员崩溃的瞬间（非程序员勿入）

今天给大家带来点快乐，程序员才能看懂。 来源：https://zhuanlan.zhihu.com/p/47066521 1. 公司实习生找 Bug 2.在调试时，将断点设置在错误的位置 <em>3</em>.当我有一个很棒的调试想法时 4.偶然间看到自己多年前写的代码 5.当我第一次启动我的单元测试时 ...

接私活必备的 10 个开源项目！

点击蓝色“GitHubDaily”关注我加个“星标”，每天下午 1<em>8</em>:<em>3</em>5，带你逛 GitHub！作者 | SevDot来源 | http://1t.click/VE<em>8</em>W...

GitHub开源的10个超棒后台管理面板

目录 1、AdminLTE 2、vue-Element-Admin <em>3</em>、tabler 4、Gentelella 5、ng2-admin 6、ant-design-pro 7、blur-admin <em>8</em>、iview-admin 9、material-dashboard 10、layui 项目开发中后台管理平台必不可少，但是从零搭建一套多样化后台管理并不容易，目前有许多开源、免费、...

Git 天天用 但是 Git 原理你了解吗？

Git 原理 做技术一定要知其然知其所以然，意思就是：知道它是这样的，更知道它为什么是这样的。我主要通过4块内容来简单介绍 Git 是原理是什么样的。这4块内容如下： Git 存储目录结构介绍 Git 是如何存储的 Git 的对象 Git引用 当然 Git 原理不仅仅包含这些，想要更深入了解请查看官方教程 https://git-scm.com/book/zh/v2/。 本文内容是我在 Git...

100 个网络基础知识普及，看完成半个网络高手

欢迎添加华为云小助手微信（微信号：HWCloud002或HWCloud00<em>3</em>），输入关键字“加群”，加入华为云线上技术讨论群；输入关键字“最新活动”，获取华为云最新特惠促销。华为云诸多技术大咖、特惠活动等你来撩！ 1）什么是链接？ 链接是指两个设备之间的连接。它包括用于一个设备能够与另一个设备通信的电缆类型和协议。 2）OSI 参考模型的层次是什么？ 有 7 个 OSI 层：物理...

漫画：什么是摩尔斯电码？

摩尔斯电码是什么摩尔斯电码（Morse code），是1<em>8</em><em>3</em>7年由美国人发明，本质上是一种对信息的编码，最初用于人们的远程通信。那个时候，人们连电话都还没发明出来，更不用...

中国最顶级的一批程序员，从首富到首负！

过去的20年是程序员快意恩仇的江湖时代通过代码，实现梦想和财富有人痴迷于技术，做出一夜成名的产品有人将技术变现，创办企业成功上市这些早一代的程序员们创造的奇迹引发了一浪高...

为什么面向对象糟透了？

又是周末，编程语言“三巨头”Java, Lisp 和C语言在Hello World咖啡馆聚会。服务员送来咖啡的同时还带来了一张今天的报纸， 三人寒暄了几句， C语言翻开了...

分享靠写代码赚钱的一些门路

作者 mezod，译者 josephchang10如今，通过自己的代码去赚钱变得越来越简单，不过对很多人来说依然还是很难，因为他们不知道有哪些门路。今天给大家分享一个精彩...

对计算机专业来说学历真的重要吗？

我本科学校是渣渣二本，研究生学校是9<em>8</em>5，现在毕业五年，校招笔试、面试，社招面试参加了两年了，就我个人的经历来说下这个问题。 这篇文章很长，但绝对是精华，相信我，读完以后，你会知道学历不好的解决方案，记得帮我点赞哦。 先说结论，无论赞不赞同，它本质就是这样：对于技术类工作而言，学历五年以内非常重要，但有办法弥补。五年以后，不重要。 目录： 张雪峰讲述的事实 我看到的事实 为什么会这样 ...

在线就能用的Linux我给你找好了

来源：公众号【编程珠玑】 作者：守望先生 网站：https://www.yanbinghu.com 前言 是不是不想装虚拟机，还想体验一下Linux？是不是自己的电脑不在，又想搞事情？今天给大家推荐几个在线就可以玩的Linux环境以及学习Shell的地方。 在线Linux环境 如果你不想安装虚拟机，这里提供几个在线就能把玩Linux的网站,他们不需要注册用户，可以直接使用。 Unix...

世界上最好的学习法：费曼学习法

你是否曾幻想读一遍书就记住所有的内容？是否想学习完一项技能就马上达到巅峰水平？除非你是天才，不然这是不可能的。对于大多数的普通人来说，可以通过笨办法（死记硬背）来达到学习的目的，但效率低下。当然，也可以通过优秀的学习法来进行学习，比如今天讲的“费曼学习法”，可以将你的学习效率极大的提高。 费曼学习法是由加拿大物理学家费曼所发明的一种高效的学习方法，费曼本身是一个天才，1<em>3</em>岁自学微积分，24岁加入曼...

学Linux到底学什么

来源：公众号【编程珠玑】 作者：守望先生 网站：https://www.yanbinghu.com/2019/09/25/14472.html 前言 ​我们常常听到很多人说要学学Linux或者被人告知说应该学学Linux，那么学Linux到底要学什么？ 为什么要学Linux 在回答学什么之前，我们先看看为什么要学。首先我们需要认识到的是，很多服务器使用的是Linux系统，而作为服务器应...

深入理解C语言指针

一、指针的概念 要知道指针的概念，要先了解变量在内存中如何存储的。在存储时，内存被分为一块一块的。每一块都有一个特有的编号。而这个编号可以暂时理解为指针，就像酒店的门牌号一样。 1.1、变量和地址 先写一段简单的代码： void main(){ int x = 10, int y = 20; } 这段代码非常简单，就是两个变量的声明，分别赋值了 10、20。我们把内存当做一个酒店，而每个房间就...

C语言实现推箱子游戏

很早就想过做点小游戏了，但是一直没有机会动手。今天闲来无事，动起手来。过程还是蛮顺利的，代码也不是非常难。今天给大家分享一下~ 一、介绍 开发语言：C语言 开发工具：Dev-C++ 5.11 日期：2019年9月2<em>8</em>日 作者：ZackSock 也不说太多多余的话了，先看一下效果图： 游戏中的人物、箱子、墙壁、球都是字符构成的。通过wasd键移动，规则的话就是推箱子的规则，也就不多说了。 二、代...

面试官：兄弟，说说基本类型和包装类型的区别吧

Java 的每个基本类型都对应了一个包装类型，比如说 int 的包装类型为 Integer，double 的包装类型为 Double。基本类型和包装类型的区别主要有以下 4 点。

焦虑的互联网人及35岁定律

一、<em>3</em>5岁定律 好像现在整个互联网行业都在贩卖焦虑，从之前的<em>3</em>0岁淘汰，到现在的<em>3</em>5岁，到最新的<em>3</em>9.9岁，你会发现，年龄趋势怎么在上升啊，对了兄弟，就是那一批人嘛，他们每年涨一岁，可不就是焦虑年龄越来越大了。 最早我看到的新闻是说，第一批互联网人都赶上了好时候，现在差不多五十岁左右，要么创业成功，要么在大公司做股东，反正都是实现了经济自由的一波人，包括马老师，都是那一拨。 那剩下的呢？有人...

8000字干货：那些很厉害的人是怎么构建知识体系的

本文约<em>8</em>000字，正常阅读需要15~20分钟。读完本文可以获得如下收益： 分辨知识和知识体系的差别 理解如何用八大问发现知识的连接点； 掌握致用类知识体系的构建方法； 能够应用甜蜜区模型找到特定领域来构建知识体系。 1. 知识体系？有必要吗？ 小张准备通过跑步锻炼身体，可因为之前听说过小腿变粗、膝盖受伤、猝死等等与跑步有关的意外状况，有点担心自己会掉进各种坑里，就在微信上问朋友圈一直晒跑步...

Android完整知识体系路线(菜鸟-资深-大牛必进之路)

前言 移动研发火热不停，越来越多人开始学习Android 开发。但很多人感觉入门容易成长很难，对未来比较迷茫，不知道自己技能该怎么提升，到达下一阶段需要补充哪些内容。市面上也多是谈论知识图谱，缺少体系和成长节奏感，特此编写一份 Android 研发进阶之路，希望能对大家有所帮助。 由于篇幅过长，有些问题的答案并未放在文章当中，不过我都整理成了一个文档归纳好了，请阅读到文末领取~ Ja...

网易云音乐你喜欢吗？你自己也可以做一个

【公众号回复 “1024”，免费领取程序员赚钱实操经验】今天我章鱼猫给大家带来的这个开源项目，估计很多喜欢听音乐的朋友都会喜欢。就目前来讲，很多人对这款音乐 App 都抱...

快到假期了，还抢不到票？可以试试这两个工具

哈喽，还有二天就到假期了，相信很多人都坐不住了。这 7 天的假期想回家看看父母，有些人想出外游玩。不管是那样，都躲不开买票。而根据以往经验，7 天这种假期的票都是异常的难买的。 那买不到就只能抢了，以前抢票是手动抢，天天保证手机熬到凌晨两三点，眼睛还不敢眨一下，生怕有票错过了时机，想想都难受（作为回家不用抢票的广东人，深表同情）。 但是自打去年开始，12<em>3</em>06 官方...

C语言这么厉害，它自身又是用什么语言写的？

这是来自我的星球的一个提问：“C语言本身用什么语言写的？”换个角度来问，其实是：C语言在运行之前，得编译才行，那C语言的编译器从哪里来？ 用什么语言来写的？如果是用C语...

Java版的7种单例模式

前言 Java 中的单例模式是我们一直且经常使用的设计模式之一，大家都很熟悉，所以这篇文章仅仅做我自己记忆。 Java版七种单例模式写法 一：懒汉，线程不安全 这种写法lazy loading很明显，但是致命的是在多线程不能正常工作。 public class Singleton{ private static Singleton instance; private Singl...

为什么我不建议你在当前购买 5G 手机

首发于公众号：BaronTalk，欢迎关注 每年的八九月份都是各大厂商发布年自己旗舰机的时候，最近 vivo、oppo、小米、华为、苹果接连发布了自己的年度旗舰，这当中除了苹果，其它厂商均发布了 5G 版本手机。恰逢国庆，势必会迎来一波换机潮，而各大厂商发布的 5G 手机很可能会成为很多同学的首选，今天我要来给准备购买 5G 手机的同学泼泼冷水。 先抛出观点：**对于普通消费者，当前不适合购...

认真推荐几个不错的技术公众号

十一假期，好好休息休息今天给大家推荐几个不同技术领域的公众号，涉及服务端后台、前端、Python、职场等各领域。这些号的无论从文章质量，还是从留言互动上，都是值得大家关注...

Python 愤怒的小鸟代码实现(1):物理引擎pymunk使用

python 愤怒的小鸟代码实现（1）：物理引擎pymunk使用游戏介绍 游戏介绍 最近比较忙，国庆正好有时间写了python版本的愤怒的小鸟，使用了物理引擎pymunk，代码参考了 github上的，实现了一个可玩的简单版本。 功能实现如下： ...

前端开发必备网站推荐

本人是一个纯正的小白，在学习的过程中搜集了一些关于前端开发的网站，希望对大家能够有所帮助！授人以鱼不如授人以渔！ 1.MDN开发者文档网址:https://developer.mozilla.org/zh-CN/ 2.菜鸟教程:https://www.runoob.com/html/html-tutorial.html <em>3</em>.CSS教程:https://www.schoolw<em>3</em>c.com/html-...

中国物联网激荡20年

故事还要从24年前那个夏天说起。 ** 1 ** 1995年的夏天，美国西海岸有一个中年人出版了一本叫《未来之路》的书籍，这本书是大家了解信息高速公路全部面目乃至21世纪人类生活面貌的入门书。在这本书中，这个中年人多次提到“物物互联”的设想。但是由于当时网络技术与传感器应用水平的限制，中年人朦胧的“物联网”理念没有引起重视。对了，这个中年人后面做了十几次世界首富！ 说回国内，那时风还没有起来，科技...

Vue 3.0 源码开放，看看都有哪些新特性

当大多数国人还在庆祝国庆节的时候，尤雨溪大大在昨天凌晨发布了 Vue <em>3</em>.0 源代码，源码地址：https://github.com/vuejs/vue-next 。虽然目前还 处于 Pre-Alpha 版本，但是可以预见后面的 Alpha、Beta 等版本应该不会太遥远。 之前，就有预言，除了性能优化、脚手架和新功能外，TypeScript绝对是一个重点，因此，在Vue <em>3</em>.0源代码版本中，9...

用Matplotlib，妈妈再也不担心我没有表情包斗图了

全文共<em>3</em>00<em>3</em>字，预计学习时长6分钟 Netflix、Instagram、YouTube、电影还有电视剧，这些都有什么共同之处呢？它们都是视觉媒介，吸引着形形色色的观众。 今时今日，大部分人逐渐放弃读书、听书的方式，而选择观看电影、电视剧去了解一个故事。也许有人持不同意见，认为人们还未曾放弃书籍，但认清这现实吧——喜爱看电影的人要比爱读书的人多得多。 以上讨论了视觉成为当下重要沟通...

十大优秀编程项目，让你的简历金光闪闪

全文共<em>3</em>241字，预计学习时长6分钟 被问到如何学习编程时，最常听到的问题就是：“有没有什么新项目的好点子？” 一些老套的答案有：“做一个象棋游戏”或者“命令行界面”。 这些答案没有错，但这些例子不符合现代编程的需要。现代软件编写需要经常使用软件服务化（SaaS）和网络应用，这意味着程序员需要了解如何在线编程。 用户网站或应用程序的编程需要服务器、身份验证和数据库，这个过程十分复杂。它...

第二弹！python爬虫批量下载高清大图

文章目录前言下载免费高清大图下载带水印的精选图代码与总结 前言 在上一篇写文章没高质量配图？python爬虫绕过限制一键搜索下载图虫创意图片！中，我们在未登录的情况下实现了图虫创意无水印高清小图的批量下载。虽然小图能够在一些移动端可能展示的还行，但是放到pc端展示图片太小效果真的是很一般！建议阅读本文查看上一篇文章，在具体实现不做太多介绍，只讲个分析思路。 当然，本文可能技术要求不是特别高，但可以...

SpringBoot注解梳理

一、注解(annotations)列表 二、注解(annotations)详解 三、JPA注解 四、springMVC相关注解 五、全局异常处理 一、注解(annotations)列表 @SpringBootApplication：包含了@ComponentScan、@Configuration和@EnableAutoConfiguration注解。其中@Component...

狼风萌化组三周年礼包part5下载

共485MB萌化素材。分六部分打包上传，此为第五部分。 本次礼包收录WindowsXP主题11个，Windows7主题6个，侧边栏工具6个，图标5套，各种软件皮肤18个，共计46件萌化物。 相关下载链接：[url=//download.csdn.net/download/dkgll/4033693?utm_source=bbsseo]//download.csdn.net/download/dkgll/4033693?utm_source=bbsseo[/url]

支付宝手册下载

支付支付的操作手册，供大家分享，希望有所帮助 相关下载链接：[url=//download.csdn.net/download/wanghuanteng/7835573?utm_source=bbsseo]//download.csdn.net/download/wanghuanteng/7835573?utm_source=bbsseo[/url]

fr8.0破解文件下载

一款流行报表工具的破解（不能说得太明白），方法直接替换 相关下载链接：[url=//download.csdn.net/download/wolf12/9834152?utm_source=bbsseo]//download.csdn.net/download/wolf12/9834152?utm_source=bbsseo[/url]

相关热词 用户权限才c# c#应用程序实例 c#请求接口数据 c#高效读写plc c#代码规范快捷方式 c#编辑模板 c# 内存存储 c# poi 生成图表 c#页面 弹出页面选择框 c# 不实现 继承接口