python使用pyhive连接hive

Phoebe_Ma 2018-06-20 01:13:15
宝宝萌新~想请问大神们一个问题~还请大神们多多关照
问题描述:自己电脑的python程序,想用pyhive连接存放hive中的数据,在hue上通过desc formatted table_name输出信息中
location 找到的数据库位置在hdfs上的存放位置,如hdfs://aaa-bbb-hadoop-namenodemaster.ccc.ddd.com:10000/user/hive/warehouse/database1/tablename,在使用pyhive.hive.connection(host='a',port=10000,username='b',database='database1',auth='CUSTOM‘,password='c')连接时出现failed to resolve sockaddr for hdfs://aaa-bbb-hadoop-namenodemaster.ccc.ddd.com:10000
Traceback (most recent call last):
File "/Users/Phoebe/anaconda3/lib/python3.6/site-packages/thrift/transport/TSocket.py", line 95, in open
addrs = self._resolveAddr()
File "/Users/Phoebe/anaconda3/lib/python3.6/site-packages/thrift/transport/TSocket.py", line 42, in _resolveAddr
socket.AI_PASSIVE | socket.AI_ADDRCONFIG)
File "/Users/Phoebe/anaconda3/lib/python3.6/socket.py", line 745, in getaddrinfo
for res in _socket.getaddrinfo(host, port, family, type, proto, flags):
socket.gaierror: [Errno 8] nodename nor servname provided, or not known
hive connection error: failed to resolve sockaddr for hdfs://aaa-bbb-hadoop-namenodemaster.ccc.ddd.com:10000

请问大神们这个问题怎么解决?
...全文
2254 3 打赏 收藏 转发到动态 举报
AI 作业
写回复
用AI写文章
3 条回复
切换为时间正序
请发表友善的回复…
发表回复
Phoebe_Ma 2019-07-21
  • 打赏
  • 举报
回复
这个问题,我都快忘了,看到楼上的回复,我想试一试,结果忘了host该填什么了?请问host是不是集群上安装了hive机器的?
晴天小猪007 2019-07-18
  • 打赏
  • 举报
回复
这个问题,昨天也是困扰我很久,终于解决了,你的链接有问题 cnn = hive.Connection(host='ip',port=10000,username='xxxx',database='default'),不需要auth这个 cursor = cnn.cursor()
五哥 2018-07-25
  • 打赏
  • 举报
回复
本机hosts中做了ip映射 ?

20,848

社区成员

发帖
与我相关
我的任务
社区描述
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
社区管理员
  • 分布式计算/Hadoop社区
  • 涤生大数据
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧