SparkSQL 连接Mongo一直报Hive的错

Chon9_ 2020-04-28 11:27:27

环境是我自己搭的spark2.3.1 hadoop2.7.7 是Win10
连接成功过，

但是最近用一直又报错了，

按网上修改
%HADOOP_HOME%\bin\winutils.exe chmod 777 D:\tmp\hive
接着是这个错误

本地没有装过Hive，为什么一直是Hive的错误，网上有说什么Hive元数据的问题
来个大佬指导下，蟹蟹蟹蟹

...全文

65 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

生产环境不方便使用，亲测各种报错。

首先导入POM文件 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.o

1、在存储方式上，HDFS以文件为单位，每个文件大小为 64M~128M, 而mongo则表现的更加细颗粒化； 2、MongoDB支持HDFS没有的索引概念，所以在读取速度上更快； 3、MongoDB更加容易进行修改数据； 4、HDFS响应级别为分钟，而MongoDB响应类别为毫秒； 5、可以利用MongoDB强大的 Aggregate功能进行数据筛选或预处理； 6、如果使用MongoDB，就不用像传统模式那样，到Redis内存数据库计算后，再将其另存到HDFS上。MongoDB可以替换HDFS, 作为大数

一、Hive概述 1、定义基于Hadoop的数据仓库解决方案将结构化的数据文件映射为数据库表提供sql的查询语言HQL(Hive Query Language) Hive让更多的人使用Hadoop 2、起源 Hive是Apache顶级项目 Hive始于2007年的Facebook 官网：hive.apache.org 3、Hive的优势和特点入门简单，HQL类SQL语法统一的元数据管理，可与impala/spark等共享元数据灵活性和扩展性较好：支持UDF，自定义存储格式等支持在不同

Spark报错处理系列之：Task 0 in stage 11.0 failed 4 times, most recent failure: Lost task 0.3 in stage 11.0

1,275

社区成员

1,171

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章