python使用pyhive连接hive [问题点数:50分]

Bbs1
本版专家分:0
结帖率 0%
Bbs1
本版专家分:0
Bbs1
本版专家分:0
Bbs1
本版专家分:0
pyhive 数据安装包
通过<em>python</em> 链接<em>hive</em>,直接进行操作<em>hive</em>集群,方便快捷。
python操作具有kerberos认证的hive(impala)
▌前言       <em>python</em>中用于<em>连接</em>HiveServer2的客户端有3个:pyhs2,<em>py<em>hive</em></em>,impyla。官网的示例采用的是pyhs2,但pyhs2的官网已声明不再提供支持,建议<em>使用</em>impyla和<em>py<em>hive</em></em>。我选择的<em>python</em>2.7和impala,运行环境Linux、Windows。   ▌安装依赖(默认已安装好<em>python</em>2.7、pip)    pip install ...
Python连接Hive(基于impyla)
如何安装impyla请看我这篇博文:https://blog.csdn.net/a6822342/article/details/80841056以下是我的一些包的版本thirftpy 0.3.9thirft-sasl 0.2.0thirft 0.11.0sasl 0.2.1pure-sasl 0.3.0impyla 0.14.1到这里,我默认大家是装好impaly了。那么我们在pycharm中运...
python2.7连接hive(使用impyla)环境搭建
已有环境: <em>hive</em>部署在linux系统的跳板机上的某个节点,要<em>连接</em><em>hive</em>,需要将自己的vpn加入白名单(运维协助) <em>python</em>2.7<em>连接</em><em>hive</em> 先安装必要的包 1.pip install six; 2.pip install bit_array; 3.pip install thriftpy 备注: thrift (on Python 2.x) or th...
Pyhive连接impala执行sql的问题
背景 <em>使用</em><em>py<em>hive</em></em><em>连接</em>impala并执行sql语句,发现总是sql执行总是异常。 原因 经过跟踪源代码发现,<em>py<em>hive</em></em>执行sql的函数execute(),虽然指定了同步执行,但是同步只适用于执行<em>hive</em>的sql,对于impala来说,并没有起作用,导致实际执行的impala sql为异步的,则会出现异常情况。 方案 可人为判断sql执行情况,实现同步执行。 通过poll()函数,获取TOpe...
使用python3连接hiveserver2的方法
需求:需要通过windows端的pycharm来操作<em>hive</em>。 于是就搜集资料寻找解决方案。 大概有三种方式: pyhs2 <em>连接</em> <em>hive</em>,但是这个项目已经没有人维护了,弃用。 Py<em>hive</em><em>连接</em><em>hive</em>。 imply<em>连接</em><em>hive</em>。 协商后决定还是用imply。 以下是整个安装以及验证的过程: 1、启动HiveServer2 shell &amp;amp;amp;gt; cd /usr/local/apa...
python 利用pyhive 导出excel
<em>python</em> 利用<em>py<em>hive</em></em> <em>连接</em><em>hive</em>server2,系统linux 系统,通过pd 导出excel
请教下python3.6 如何连接hive
能否给下代码,官网的都看过了。。各种问题。。 不管是 <em>py<em>hive</em></em> 还是 impyla 都报各种错。 Python 3.6.3 :: Anaconda custom (64-bit) <em>hive</em> 版本
基于PyHive库使用python访问Hive
安装: 去sasl下载地址下载所需sasl,要和<em>python</em>版本匹配,pip install sasl‑xxx.whl (如果没安装wheel,pip install wheel) conda install <em>py<em>hive</em></em> <em>使用</em>: 同步 from <em>py<em>hive</em></em> import presto # or import <em>hive</em> cursor = presto.connect('localho...
利用pyhivehive查询数据导入到mysql
<em>py<em>hive</em></em>作用 远程<em>连接</em><em>hive</em>数据库,运行<em>hive</em> sql,而不需要登录到安装有<em>hive</em>的服务器上去 可以更方便处理更多连续命令,可以封装一些经常需要复用的命令 脚本化,不需要编译,随时改,随时执行看结果 方便对<em>hive</em> sql的结果进行更多处理,而不是仅仅在终端打印出来看一看 安装环境 这里只讲解Linux环境,以ubuntu为例,其他系统类似 <em>python</em> 环境,我装的是py...
python怎么连接hivehive.server2.transport.mode设置为http
当<em>hive</em>.server2.transport.mode设置为http,<em>hive</em>.server2.thrift.http.path设置为cliservice的时候,怎样用<em>python</em><em>连接</em><em>hive</em>?
hive中不能用for循环,如何实现for循环的功能
<em>hive</em>中不能用for循环,如何实现for循环的功能?有谁对这个比较了解的,求帮忙
windows 下 python3操作hive
安装依赖 pip install sasl pip install thrift pip install thrift-sasl pip install PyHive windows安装sasl报错,解决方案 下载对应版本预编译的包 https://www.lfd.uci.edu/~gohlke/<em>python</em>libs/#sasl C:\Python27\Scripts\pip.ex...
python链接hive的各种疑难杂症
<em>python</em>链接<em>hive</em>的各种疑难杂症1.首先安装impyla annoconda下执行以下命令:conda install -c anaconda impyla2.因为你<em>hive</em>肯定是linux,我这个是centos,所以当遇到c++问题就安装c++centos执行以下命令: yum install gcc-c++(centos中g++叫gcc-c++,如果直接安装g++会出现No packag...
python3.6操作hive
网上搜了很多<em>python</em>  <em>hive</em> 的,但是都比较老了。个人装的是<em>python</em>3.6都不太适用,以下方法自己亲自试过,运行环境linux。1.安装依赖pip3 install saslpip3 install thriftpip3 install thrift-saslpip3 install PyHive2.编码#!/usr/bin/env <em>python</em>3 # -*- coding: utf-...
Python连接Hive
1. Hiveserver1 & HiveServer2 1.1 HiveServer1   HiveServer是一个可选的服务,能够允许远程客户端<em>使用</em>各种编程语言向<em>hive</em>提交请求并检索结果。Hiveserver是建立在Apache Thrift上的,所以有时候称呼其为Thrift Server,尽管因为HiverServer2也是建立在Thrift之上,从而容易产生疑惑。HiveSe
如何验证SQL语句是否正确
在类里SQL语句有什么办法,使语句输出来. 复制到SQL查询器来验证语句是否正确。 我在类里代码如下: public bool AddComment(Comment c) { string sql =
centos7 pyhive连接hive(基于kerberos安全验证)
centos7 <em>py<em>hive</em></em><em>连接</em><em>hive</em>(基于kerberos)。由于基于kerberos校验的<em>hive</em>服务器通过<em>python</em><em>连接</em>的过程很麻烦,故整理文档。
python3.5 连接hivehive有密码并且集群Kerberos认证) 基本使用 pyhive
1.安装相关依赖 目前<em>python</em>3<em>连接</em><em>hive</em>的方法主要是<em>使用</em><em>py<em>hive</em></em>包,但是要安装<em>py<em>hive</em></em>也不是那么容易的事情,因为<em>py<em>hive</em></em>要<em>使用</em>系统底层模块,所以就要先安装对应的模块。 sudo yum install cyrus-sasl-devel sudo yum install gcc-c++ pip3 install sasl pip3 install thrift pip3 ins...
python连接hive配置
注:Python端所在服务器为centos6.8 一,<em>hive</em>安装配置 参考博文:https://blog.csdn.net/u010916338/article/details/89764877 重要一点,<em>hive</em>是个客户端,不是集群,在<em>hive</em>所在节点必须执行如下命令: <em>hive</em> --service <em>hive</em>server2 参考博文:https://blog.csdn.net/zha...
thrift如何通过kerberos认证连接hive数据库
如题所示,我想在C++中<em>连接</em>一个带有kerberos认证的<em>hive</em>数据库,该如何操作
anaconda3.6.5安装pyhive
1.首先安装anaconda3.6.5 略 2.配置好bin下环境变量 3.来到anaconda官网,搜索需要的包,<em>py<em>hive</em></em>(不是anaconda前缀的也行,例如biaze/<em>py<em>hive</em></em>) https://anaconda.org/anaconda/   如上截图,选择 anaconda 对应的<em>py<em>hive</em></em>,点击进去 点击FIles,选择linux-64/<em>py<em>hive</em></em>-0...
Hive数据卡住,运行不出来
Status: Running (Executing on YARN cluster with App id application_1481466395876_274218) -----------
Python操作Hive的两种方法总结
方法一:<em>使用</em>PyHive库 安装依赖包:其中sasl安装可能会报错,可以去https://www.lfd.uci.edu/~gohlke/<em>python</em>libs/#sasl下载对应版本安装。 pip install sasl pip install thrift pip install thrift-sasl pip install PyHive Python脚本代码操作: from p...
hive数据的处理问题
我创建了个表格,如下图: 然后,我把它导入到了Hive里面: 我想对数据进行简单的查询处理,比如查询语言为汉语的人,代码如下: select * from exp.student where lang
关于python连接hbase并且导入数据的问题
<em>python</em>导入数据进入hbase ,数据较大,音频转2进制导入hbase,hbase对应的表开启了MOB(中等对象存储)功能,之前测试多线程。一个节点,<em>连接</em>hbase数量不可以超过4个,否则会报错。
pymysql之executemany()
1 背景mysql数据库大批量插入数据库executemany()。2 参数参数1:sql语句,例如:NSERT INTO sys_area (name,update_time,update_by) VALUES (%s,%s,%s)参数2:二维列表,类似于数据库中的每条记录。例如:[[‘zhangsan’, ‘2013-05-20 20:18:16’, ‘admin’], [‘lisi’, ‘
pyhive python连接hive
from <em>py<em>hive</em></em> import <em>hive</em> conn = <em>hive</em>.Connection(host='1*.30',auth='LDAP',port=10000,username='*',password='*',database='*') cursor = conn.cursor() cursor.execute(&quot;select * from dp_ods.* where etl_date=...
windows python2.7 连接hive。安装pyhs2,需要提前安装的包以及步骤。亲测有效下载
windows <em>python</em>2.7 <em>连接</em><em>hive</em>。安装pyhs2,需要提前安装的包以及步骤。亲测有效 相关下载链接://download.csdn.net/download/whenyumen/104
Presto如何使用md5
select md5(to_utf8( concat( if(id is null, '-', cast(id as VARCHAR)), if(city_id is null, '-', cast(city_id as VARCHAR)), if(user_id is null, '-', cast(user_id as VARCHAR)), ...
Win7,Python3链接hive的各种问题(impyla)
pip install sasl error: Microsoft Visual C++ 14.0 is required. Get it with “Microsoft Visual C++ Build Tools”: http://landinghub.visualstudio.com/visual-cpp-build-tools 此错误需要安装Visual Studio 安装地址: ht...
终端下访问hdfs不能获取Kerberos凭证
在hadoop集群上kinit klist 命令都正常,但是访问集群服务比如hdfs时,显示的不是用当前有凭证的用户,而是当前用户。 即便是获取当前用户的凭证,也不能访问 # klist -e Tic
在 linux 下, 为何安装 Authen::SASL 这个模块失败呢? (新手)
在 linux 下, 为何安装 Authen::SASL 这个模块失败呢? (新手) OS: Redhat EL 3 我在安装 Authen::SASL 模块时失败, 为什么呢? CPAN> inst
如何将dateTimePicker1中的数据写入数据库
比如我在前台上有一个控件dateTimePicker1,现在我想把它的值写入数据库,老是报类型不对,请问怎么解决
将数据导入Hive数据库中,使用python链接Hive读取数据库,转化成pandas的dataframe
      做互联网应用开发过程中,时常需要面对海量的数据存储及计算,传统的服务器已经很难再满足一些运算需求,基于hadoop/spark的大数据处理平台得到广泛的应用。本文提供一个导入数据到<em>hive</em>,用<em>python</em>读取<em>hive</em>数据库的例子。这实际是个比较简单的操作,但是还是存在很多坑。   1.首先第一步 需要将Mysql或者其他数据库的文件导出成CSV文件格式。当然如果你做爬虫,可以直...
pythonhive
前言最近开始尝试tensorflow,而数据存在<em>hive</em>里,如何读取数据是个很大问题。网上有不少例子,不过这些例子也带来了不少坑,最终于经过九九八十一难,总算连成功了。 先说说经历的坑吧坑1 <em>使用</em>thrift安装,在网上查了很多相关资料,貌似年代都挺久远的,不过还是试了试,参考代码如下# -*- coding: utf-8 -*-#!/usr/bin/env <em>python</em> import sys
通过py文件将文件中的数据导入到hive遇见的问题
因需要通过任务的方式执行将文本的数据导入到HIVE数据库中。所以考虑每次的任务通过命令执行py文件的方式来实现定时导入文件到HIVE数据库中。所以先做了一个测试,但是出行一些问题,现记录下来,供以后查看。测试脚本如下:# -*- coding: utf-8 -*-  from __future__ import print_functionfrom pyspark.sql import Spark...
pyhive中 一些错误的地方
因为最近在用集群用到了<em>hive</em> <em>python</em><em>连接</em>需要<em>使用</em><em>py<em>hive</em></em>,但是这个包一直在报错 不存在tab_name和database_name,经过下午查源码发现了错误点 上面两处就是错误点需要改成下面的样子 这样子错误就消息了。这次修改仅限于0.2.1版本,因为后续应该会修好这个问题的。
使用PyHive连接Hive数据仓库
FAILED: Execution Error, return code 1 from org.apache.hadoop.<em>hive</em>.ql.exec.mr.MapRedTask. Cannot initialize Cluster. Please check your configuration for mapreduce.framework.name and the correspond ser...
python操作hiveserver2相关工具集
1、pyhs2,已没有更新维护 https://github.com/BradRuderman/pyhs2 2、<em>py<em>hive</em></em> https://github.com/dropbox/PyHive 3、impyla https://github.com/cloudera/impyla
python通过thrift连接hive,异步执行查询
在开始之前,我们需要具备一些基础知识:什么是<em>hive</em>? <em>hive</em>是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供完整的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。 <em>hive</em>对外暴露出来的用法,基本上和Mysql相同,但是它能做到Mysql做不到的对大数据处理,例如几十亿条数据,放在Mysql中,必然不堪重负,但在<em>hive</em>中,举重若轻
python类的实例方法、静态方法和类方法区别及其应用场景
<em>python</em>类的实例方法、静态方法和类方法区别及其应用场景 一、先看语法,<em>python</em> 类语法中有三种方法,实例方法,静态方法,类方法。 ps.<em>python</em>中self,cls的区别 普通实例方法,第一个参数需要是self,它表示一个具体的实例本身。 如果用了staticmethod,那么就可以无视这个self,而将这个方法当成一个普通的函数<em>使用</em>。 而对于classmethod,它的第一...
通过JDBC驱动连接Hive操作实例
转自:http://www.aboutyun.com/forum.php?mod=viewthread&tid=7083&highlight=<em>hive</em> 本帖最后由 pig2 于 2014-3-8 01:16 编辑 我们在编程过程中数据库<em>连接</em>比较常用的,如果<em>连接</em><em>hive</em>可以作为参考:虽然内容较短,但是里面仍有文章: 1.<em>连接</em>涉及到那些包? 2.Class.
python hive-1.2.1 pyhs2 ; python 连接hive
各位老大,最近忙吗??? 最近在做<em>hive</em>的一些东东,用的是1.2.1版本的。 先用java实现<em>hive</em>-jdbc,<em>连接</em>成功,也可以运行,具体的过程再不写了,贴一点代码,关于<em>hive</em>1.2.1 和0.x.x 版本的不同。 private static String driverName = "org.apache.<em>hive</em>.jdbc.HiveDriver"; public static voi
HiveServer2 JDBC客户端连接Hive数据库
官方地址 1 简介 两者都允许远程客户端<em>使用</em>多种编程语言,通过HiveServer或者HiveServer2,客户端可以在不启动CLI的情况下对Hive中的数据进行操作,连这个和都允许远程客户端<em>使用</em>多种编程语言如java,<em>python</em>等向<em>hive</em>提交请求,取回结果(从<em>hive</em>0.15起就不再支持<em>hive</em>server了),但是在这里我们还是要说一下<em>hive</em>server HiveServer...
hive jdbc使用
在<em>hive</em>学习中,通过java调用<em>hive</em>的jdbc驱动来查询数据。 声明:当前基于<em>hive</em>1.2.1版本进行的学习和测试。 首先环境中有部署<em>hive</em>,并且存在。 Java工程需要配置以及代码编写: 1、需要用到的依赖jar包:用的maven项目                                dependency>             
pyhive No module named sasl
<em>python</em> No module named sasl
kerberos认证原理---讲的非常细致,易懂
前几天在给人解释Windows是如何通过Kerberos进行Authentication的时候,讲了半天也别把那位老兄讲明白,还差点把自己给绕进去。后来想想原因有以下两点:对于一个没有完全不了解Kerberos的人来说,Kerberos的整个Authentication过程确实不好理解——一会儿以这个Key进行加密、一会儿又要以另一个Key进行加密,确实很容易把人给弄晕;另一方面是我讲解方式有问题
python 连接 hive
由于版本的不同,Python <em>连接</em> <em>hive</em> 的方式也就不一样。在网上搜索关键字 <em>python</em> <em>hive</em> 的时候可以找到一些解决方案。大部分是这样的,首先把<em>hive</em> 根目录下的$HIVE_HOME/lib/py拷贝到 <em>python</em> 的库中,也就是 site-package 中,或者干脆把新写的 <em>python</em> 代码和拷贝的 py 库放在同一个目录下,然后用这个目录下提供的 thrift 接口调用。示例
python连接hive的demo
在部署了两个<em>hive</em>后,分别在namenode和一个datanode上,用nohup <em>hive</em> --service <em>hive</em>server &将<em>hive</em> server启动。       Hive server 让Hive提供Thrift服务的服务器形式运行,允许不同的语言编写客户端进行访问。<em>使用</em>Thrift、JDBC、ODBC<em>连接</em>器的客户需要运行<em>hive</em>服务器来和Hive进行通信。通过设置HIVE
Hive的安装与配置(二)
HIve的安装与配置    本文中<em>hive</em>版本2.3.2,默认环境中jdk已经正常安装,hadoop集群正常启动 1.1下载<em>hive</em>安装文件 可以从Apache官网下载安装文件,即http://mirror.bit.edu.cn/apache/<em>hive</em>/ 由于<em>hive</em>是默认将元数据保存在本地内置的Derby数据库中,Derby是单用户模式,不支持会话<em>连接</em>(具体体现:当你进行切换目录启动的...
二、Hive3.1安装
前言 前面已经讲过hadoop3.1的安装教程,本次主要基于hadoop3.1安装3.1 安装<em>hive</em> 第一步 下载<em>hive</em>3.1 http://mirrors.hust.edu.cn/apache/<em>hive</em>/ 解压 tar -zxvf apache-<em>hive</em>-3.1.0-bin.tar.gz 重命名 mv apache-<em>hive</em>-3.1.0-bin/ <em>hive</em>-3.1.0/ ...
Hadoop+Hive部署安装配置
最近结合具体的项目,搭建了Hadoop+Hive,在运行Hive之前要首先搭建好Hadoop,关于Hadoop的搭建有三种模式,在以下的介绍中,我主要的采用的是Hadoop的伪分布安装模式。写下来给各位分享。 准备工作: 以上所有的下载的安装包和解压后文件均在/usr/local/hadoop目录1、分别ssh到每台服务器上,在root用户下修改hostname su root vim
Hive安装-完美教程
废话少说,开门见山。1:<em>hive</em>版本:2.3.3下载地址:https://mirrors.tuna.tsinghua.edu.cn/apache/<em>hive</em>/2:hadoop版本:2.7.63:hbase版本:1.3.2<em>hive</em>部署在hadoop的Master机器上,这里,主要针对conf下若干文件进行修改,并替换和删除lib目录下的包:首先,修改<em>hive</em>-env.shcp <em>hive</em>-env.sh....
Linux环境下hive的安装
一 Hive简介 在Hadoop生态圈中属于数据仓库的角色。Hive能够管理Hadoop中的数据,同时可以查询Hadoop中的数据。它提供了一系列的工具,可以用来进行数据提取转化加载(ETL),这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制;  Hive定义了简单的类SQL查询语言,称为HQL ,它允许熟悉SQL的用户查询数据。同时,这个语言也允许熟悉MapReduce开发...
彷徨 | Hive的介绍 , 安装 , 配置以及启动
1 什么是Hive 首先 , Hive是一个 sql 工具;它能接收用户输入的sql语句,然后把它翻译成mapreduce程序对HDFS上的数据进行查询、运算,并返回结果,或将结果存入HDFS;Hive是基于Hadoop的一个数据仓库工具(离线),可以将结构化的数据文件映射为一张数据库表,并提供类SQL查询功能。 Hive是运行在Hadoop集群上的 , 所以在安装Hive之前 , 应启动Ha...
sqoop从hive中表导出数据到mysql报错的问题
问题描述:<em>hive</em>中表<em>使用</em>sqoop导出数据到mysql中,对于一些地址字段,会报下面的错误 15/02/05 08:30:45 INFO mapred.JobClient: map 0% reduc
hadoop(十一)hive或者spark sql
<em>hive</em> 安装<em>hive</em> Hive只在一个节点上安装即可 1.上传tar包 2.解压     tar -zxvf <em>hive</em>-0.9.0.tar.gz -C /cloud/ 3.配置mysql metastore(切换到root用户)     配置HIVE_HOME环境变量          查询以前安装的mysql相关包     rpm -qa | grep mysql     暴力删除这个...
Hive启动报错-which : no hbase in
Hive配置完成后启动报错(在未启动hadoop情况下执行<em>hive</em>命令也是一样) 下面是错误信息,希望大神能够帮忙解决。 ——————————————————————————————————————
安装hive之前需要安装hbase吗?
rttttttttttttttt
安装配置Hive时报错
安装配置Hive时报错: FAILED: Error in metadata: java.lang.RuntimeException: Unable to instantiate org.apache
Hive及Hive安装
Hive专业术语 专业术语 1、Hive是什么 Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射成一张数据库表,并提供类SQL查询功能。 通俗讲,其实HIVE就是一个SQL解析引擎,它将SQL语句转译成M/R JOB然后在Hadoop执行,来达到快速开发的目的。拨开HIVE的神秘面纱之后来看它的表其实就是一个Hadoop的目录/文件(HIVE默认表存放路径一般都是在你的工作...
hive安装包
Hive是一个数据仓库,它部署在Hadoop集群上,它的数据是存储在HDFS上的,Hive所建的表在HDFS上对应的是一个文件夹,表的内容对应的是一个文件。它不仅可以存储大量的数据而且可以对存储的数据
Hive安装错误总结
错误1:Exception in thread “main” java.lang.RuntimeException: org.apache.hadoop.<em>hive</em>.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.<em>hive</em>.ql.metadata.Sess...
Hadoop完全分布式安装Hive
推荐阅读《Hive编程指南》 编译安装 Hive 如果需要直接安装 Hive,可以跳过编译步骤,从 Hive 的官网下载编译好的安装包,下载地址为http://<em>hive</em>.apache.org/downloads.html。 Hive的环境配置需要MySQL的支持,所以首先需要安装MySQL,没有安装MySQL的先看上一篇:安装MySQL C.1 编译Hive C.1.1 下载 H...
Hive 3.0.0安装与配置
机器环境是:ubuntu 18.04 LTS、hadoop 3.0.3、<em>hive</em> 3.0.0和mysql 8.0.11。 一、安装JDK和hadoop/mysql 1. 安装hadoop 2. 安装mysql (1) 安装 ubuntu18.04不能直接用: sudo apt-get install mysql-server sudo apt-get install mysql-c...
Hive介绍及安装
                                                                Hive介绍:        Hive是基于Hadoop的数据仓库解决方案。由于Hadoop本身在数据存储和计算方面有很好的可扩展性和高容错性,因此<em>使用</em>Hive构建的数据仓库也秉承了这些特性。   简单来说,Hive就是在Hadoop上架了一层SQL接口,可以将SQL翻译...
Hive学习之路 (二)Hive安装
目录 Hive的下载 Hive的安装 1、本人<em>使用</em>MySQL做为Hive的元数据库,所以先安装MySQL。 2、上传Hive安装包 3、解压安装包 4、修改配置文件 5、 一定要记得加入 MySQL 驱动包(mysql-connector-java-5.1.40-bin.jar)该 jar 包放置在 <em>hive</em> 的根路径下的 lib 目录 6、 安装完成,配置环境变量 ...
hive schematool 初始化mysql失败
CentOS7+ hadoop-3.1.2 + <em>hive</em>-3.1.1 + Mysql 8 配置都设定好了 然后在/<em>hive</em>/bin 下输入 schematool -dbType mysql -init
Hive2.0安装完整版——Hive2.3.4
@羲凡——只为了更好的活着 Hive安装完整版——Hive2.3.4 Hive是大数据生态圈中最常用的数据仓库,也是有hadoop集群的公司的必备。所以<em>hive</em>安装和<em>使用</em>也是大数据开发或运维人员都必须掌握的。<em>hive</em>的安装很简单,而且各版本的安装都非常类似,完全可以套用。此文中选择Hive2.3.4作为示范! 一、下载对应的安装包 1.下载mysql驱动 下载地址如下 http://central...
零基础班第十四课 - Hive安装部署与快速入门
一、下载 地址:wget http://arc<em>hive</em>.cloudera.com/cdh5/cdh/5/<em>hive</em>-1.1.0-cdh5.7.0.tar.gz 解压缩:tar -xzvf <em>hive</em>-1.1.0-cdh5.7.0 移动至app目录下:mv <em>hive</em>-1.1.0-cdh5.7.0 ~/app <em>hive</em>目录下介绍:1、bin目录 脚本执行文件 2、conf配置文件位置:对于Hadoop来...
HIVE安装配置和使用
这次的工作是搞一个基于大数据的报表系统,要用到HIVE和SPARK, 先学习一下怎么用HIVE吧,把学习过程记录下来方便以后查阅。1. 安装HIVE和HADOOP首先下载HIVE和HADOOP,我用的版本是apache-<em>hive</em>-2.1.1-bin.tar.gz和hadoop-2.7.3.tar.gz, 下载到云机上面找个文件夹直接解压。root@iZwz9ctwk4oedy81aflpxpZ:/...
Hive详细的安装流程
安装准备: 安装<em>hive</em>之前保证hadoop(zk) jdk 安装版本: 主流 1.2 2.3 https://mirrors.tuna.tsinghua.edu.cn/apache/ 镜像 安装 2.3.2 安装节点: 一个节点就可以 hdp03 安装模式: 1)<em>使用</em>自带的元数据库 1)上传 2)解压 tar -xvzf apache-<em>hive</em>-2.3.2-bin.tar.gz 3)配置环境变量...
hive安装教程
<em>hive</em>的伪分布式的安装,<em>hive</em>安装需要依赖mysql,因此linux服务器或者linux虚拟机里应该先安装mysql,然后再进行相关的<em>hive</em>的配置安装等操作。
Hive 环境的安装部署
Hive在客户端上的安装部署 一、客户端准备:   到这我相信大家都已经搭过三节点集群了,如果是的话则可以跳过一,直接进入二。如果不是则按流程来一遍! 1、克隆虚拟机,见我的博客:虚拟机克隆及网络配置。 2、 实现客户端和集群的<em>连接</em>(该步骤为多节点集群搭建,详情见我博客: 节点Hadoop集群搭建 有多节点集群的请跳到二) (1)配置时钟同步:保证客户端和集群的时间是同步的,具体操...
第九记·Hive安装配置 metastore的三种配置方式详解
XY个人笔记     Hive是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具,可以用来进行数据提取转化加载(ETL),这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL 查询语言,称为 HQL,它允许熟悉 SQL 的用户查询数据。同时,这个语言也允许熟悉 MapReduce 开发者的开发自定义的 mapper 和 redu...
大数据平台入门--hive安装(虚拟机安装单机版本)
所有版本的下载地址:http://arc<em>hive</em>.apache.org/dist/<em>hive</em>/ 网上太多版本,但是只是为了学习,本机虚拟机上安装一下试用,很多帖子里的配置是多台服务器的配置,因些整理了一个虚拟机本机版本的安装步骤。 关于<em>hive</em>的一些概念,特别有一些配置文件里的内容,建议看一下书后再去看帖子,会容易得多(我看的是hadoop权威指南里面的<em>hive</em>部分) hadoop的安装,请参...
Hive安装
工作中.......
Hive安装-window
1.安装hadoop 2.从maven中下载mysql-connector-java-5.1.26-bin.jar(或其他jar版本)放在<em>hive</em>目录下的lib文件夹 3.配置<em>hive</em>环境变量,HIVE_HOME=F:\hadoop\apache-<em>hive</em>-2.1.1-bin 4.<em>hive</em>配置 <em>hive</em>的配置文件放在$HIVE_HOME/conf下,里面有4个默认的配置文件模板
Hive安装步骤
1、  安装MySQL1) 下载安装包网址:http://www.MySQL.com/downloads下载最新版的MySQL将文件移动复制到/home/csu/下,注意安装启动需要在root用户下,即进入root用户(su)2) 安装mysql在CentOS7下有自带的MariaDB,需要将其删除,输入:    rpm –qa|grep mariadb    --查看现存在的MariaDB包需要...
linux中hive安装和部署详解
一.前期准备 1.1 hadoop 版本:Hadoop 2.6.5 安装:http://blog.csdn.net/a123demi/article/details/70652959 1.2 mysql 版本:5.6.33 MySQL Community Server (GPL) 1.3 mysql驱动包 版本:mysql-connector-java-5.1.40-bin.jar 1.4 <em>hive</em>安装包 官网下载:apache-<em>hive</em>-2.1.1-bin.tar.gz 二.<em>hive</em>安装 2
hive-2.3.3的安装详解
1.安装前的准备:    首先需要搭建好hadoop集群并启动(需要启动hdfs和yarn)    mysql启动正常2.<em>hive</em>的安装    方式一(不推荐):内嵌 Derby 版本    1、 上传安装包 apache-<em>hive</em>-2.3.2-bin.tar.gz    2、 解压安装包 tar -zxvf apache-<em>hive</em>-2.3.2-bin.tar.gz -C /home/hadoop...
Hive的安装和基础编程
转载自厦门大学林子雨开设的《大数据技术原理与应用》一、安装<em>hive</em>1. 下载并解压<em>hive</em>源程序Hive下载地址注意,上面的dblab:dblab是用户组和用户名,如果你当前<em>使用</em>用户名hadoop登录了Linux系统,则把dblab替换成hadoop。2. 配置环境变量为了方便<em>使用</em>,我们把<em>hive</em>命令加入到环境变量中去,请<em>使用</em>vim编辑器打开.bashrc文件,命令如下:在该文件最前面一行添加如下...
Hive1.2.2详细安装教程
Hive是Hadoop组态中的数据仓库,本质是将sql语句转换为MapReduce任务,所以Hive只是一个解析引擎,它的数据存储在hdfs上,元数据信息依托mysql数据库。在这里有一个小问题,为什么需要mysql关系数据库,因为hdfs存储的只是数据信息,而建表的时候是需要列名来查询的,因此要用mysql来建立表信息,当然也可以用其他的关系型数据库。在这里依托mysql数据库搭建Hive组件。...
Hive2.1.1安装
Hive2.1.1安装 前言 安装Hive之前,先安装hadoop,保证HDFS、YARN启动成功。本教程安装的Hive版本为2.1.1版本,对应的hadoop版本为2.7.3。 默认情况下,Hive元数据保存在嵌入式数据库Derby中,只能允许一个会话<em>连接</em>,只适合简单的测试。为了支持多用户多会话,则需要一个独立的元数据库,我们<em>使用</em> MySQL 作为元数据库。 一、下载Hive ...
hive的基本简介及安装、配置、使用(一)
<em>hive</em>是什么? 由facebook开源,用于解决海量结构化日志的数据统计; 基于hadoop的一个数据仓库工具,<em>使用</em>HDFS进行存储并将结构化数据文件映射成一张表,并提供类sql查询的功能,其底层采用MR进行计算; 本质是将HQL转化成MR程序。 <em>hive</em>架构图安装前的准备 Java 1.7 (preferred) Hadoop 2.x (preferred), 1.
Hive 安装手册
Hive 安装手册   解压缩<em>hive</em>安装包 tar zxvf apache-<em>hive</em>-2.1.1-bin.tar.gz   安装mysql sudo yum install mysql-server   安装 mysql connector sudo yum install mysql-connector-java 该命令会在/...
Hive安装及使用攻略
让Hadoop跑在云端系列文章,介绍了如何整合虚拟化和Hadoop,让Hadoop集群跑在VPS虚拟主机上,通过云向用户提供存储和计算的服务。 现在硬件越来越便宜,一台非品牌服务器,2颗24核CPU,配48G内存,2T的硬盘,已经降到2万块人民币以下了。这种配置如果简单地放几个web应用,显然是奢侈的浪费。就算是用来实现单节点的hadoop...
Hive安装和使用
Hive安装和<em>使用</em> 一.安装: 1.上传<em>hive</em>解压到到自己的指定目录   /opt/modules/apache     tar  -zxf apach-<em>hive</em>-1.2.1-bin.tar.gz  -C  /opt/modules/apache 2.重新给<em>hive</em>命名简单   mv  apache -<em>hive</em> -1.2.1-bin  <em>hive</em> -1.2.1(可选) 3.cd <em>hive</em>-
CentOS7基于Hadoop 2.7.3安装Hive 2.1.1
安装<em>hive</em>前提是要先安装hadoop集群,并且<em>hive</em>只需要再hadoop的namenode节点集群里安装即可(需要再所有namenode上安装),可以不在datanode节点的机器上安装。另外还需要说明的是,虽然修改配置文件并不需要你已经把hadoop跑起来,但是本文中用到了hadoop命令,在执行这些命令前你必须确保hadoop是在正常跑着的,而且启动<em>hive</em>的前提也是需要had
Hive的三种方式安装与搭建
hadoop下Hive的三种方式安装与搭建,hadoop下Hive的三种方式安装与搭建
hive2.1.1 部署安装
<em>hive</em> 安装教程 版本 2.1.1,本教程以mysql为元数据存储一、下载Hive下载地址:https://mirrors.tuna.tsinghua.edu.cn/apache/<em>hive</em>/二、mysql配置1、下载mysql源安装包wget http://dev.mysql.com/get/mysql57-community-release-el7-8.noarch.rpm2、安装mysql源y
hadoop入门第七步---hive部署安装(apache-hive-1.1.0)
以下操作在hdpsrc3 节点上操作 一,下载安装包 1,下载<em>hive</em> http://mirrors.hust.edu.cn/apache/   得到apache-<em>hive</em>-1.1.0.tar.gz  ,放到该目录下 /home/hdpsrc/  2,下载mysql   http://dev.mysql.com/downloads/mysql/5.5.html#downloads   得
hive安装详解
1.上传tar包 2.解压 tar -zxvf <em>hive</em>-1.2.1.tar.gz 启动 bin/<em>hive</em>       show databases; create database itheima; show databases; use itheima; show tables; create table t_test(id int,name str
Hive内嵌模式和本地模式安装方法详解
Hive有三种模式(内嵌模式、本地模式、远程模式) 内嵌模式:内嵌derby数据库(一个会话<em>连接</em>,常用于简单测试)它的安装方法如下: 1、下载<em>hive</em>(下载之前一定要去官网http://<em>hive</em>.apache.org/downloads.html看看安装的hadoop版本和<em>hive</em>版本兼容表,找到适合自己的那一款)下载地址:http://mirror.bit.edu.cn/apache/hiv
变速齿轮0.451标题修改下载
改标题而已,能过简单的私服登录器的检测,不过好些游戏用它都没效果,所以这个东西没什么用了,娱乐而已。有些国产的低能游戏还是可以有点加速作用出来的。 相关下载链接:[url=//download.csdn.net/download/ttlsoft213/2327996?utm_source=bbsseo]//download.csdn.net/download/ttlsoft213/2327996?utm_source=bbsseo[/url]
防止在局域网中网速被控制下载
防止在局域网中网速被控制,可以做一下参考。多个关键字请用空格分隔,最多填写5个。点击右侧Tag快速添加 相关下载链接:[url=//download.csdn.net/download/qq593010606/2618577?utm_source=bbsseo]//download.csdn.net/download/qq593010606/2618577?utm_source=bbsseo[/url]
excel操作大全下载
excel操作大全,方便学习excel,掌握其操作,灵活运用,方便办公 相关下载链接:[url=//download.csdn.net/download/u011679546/5924577?utm_source=bbsseo]//download.csdn.net/download/u011679546/5924577?utm_source=bbsseo[/url]
相关热词 c# stream 复制 android c# c#监测窗口句柄 c# md5 引用 c# 判断tabtip 自己写个浏览器程序c# c# 字符串变成整数数组 c#语言编程写出一个方法 c# 转盘抽奖 c#选中treeview
我们是很有底线的