kettle二次开发连接HIVE,找不到HIVE类型

u010138223 2017-05-16 10:12:49
这是我的连接xml信息:
public static final String[] databaseXML = {
"<?xml version=\"1.0\" encoding=\"UTF-8\"?>" +
"<connection>" +
"<name>bjdt</name>" +
"<server>202.115.161.209</server>" +
"<type>MYSQL</type>" +
"<access>Native</access>" +
"<database>isearch5_beta_0.1</database>" +
"<port>3306</port>" +
"<username>root</username>" +
"<password>cs.swust</password>" +
"</connection>",
"<?xml version=\"1.0\" encoding=\"UTF-8\"?>" +
"<connection>" +
"<name>kettle</name>" +
"<server>10.11.0.65</server>" +
"<type>HIVE2</type>" +
"<access>Native</access>" +
"<database>default</database>" +
"<port>10000</port>" +
"<username/>" +
"<password>Encrypted</password>" +
"</connection>"
};
这是报错:
Unable to load database connection info from XML node

Unable to create new database interface

database type with plugin id [HIVE2] couldn't be found!



at org.pentaho.di.core.database.DatabaseMeta.<init>(DatabaseMeta.java:1007)
at org.pentaho.di.core.database.DatabaseMeta.<init>(DatabaseMeta.java:952)
at DataAnalysis.service.createKtrService.generateMyOwnTrans(createKtrService.java:91)
at DataAnalysis.service.createKtrService.doit(createKtrService.java:66)
at DataAnalysis.controller.createKtrController.createKtr(createKtrController.java:24)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:498)



之后我再kettle-core.jar里面查看kettle-database-types.xml:<database-types>

<database-type id="AS/400">
<description>AS/400</description>
<classname>org.pentaho.di.core.database.AS400DatabaseMeta</classname>
</database-type>

<database-type id="CACHE">
<description>Intersystems Cache</description>
<classname>org.pentaho.di.core.database.CacheDatabaseMeta</classname>
</database-type>

<database-type id="DB2">
<description>IBM DB2</description>
<classname>org.pentaho.di.core.database.DB2DatabaseMeta</classname>
</database-type>

<database-type id="DBASE">
<description>dBase III, IV or 5</description>
<classname>org.pentaho.di.core.database.DbaseDatabaseMeta</classname>
</database-type>

........后面还有很多数据库的类型,

但是发现没有HIVE类型,那么问题来了,使用kettle的spoon却可以连接HIVE,这是为什么呢?我又应该怎么才可以用代码连接呢?
...全文
5306 3 打赏 收藏 转发到动态 举报
写回复
用AI写文章
3 条回复
切换为时间正序
请发表友善的回复…
发表回复
000X000 2017-11-16
  • 打赏
  • 举报
回复
引用 1 楼 rpk0124 的回复:
楼主 同问题,,你解决了吗
你解决了吗?啥情况?谢谢
000X000 2017-11-16
  • 打赏
  • 举报
回复
我也是这个问题,请问楼主咋解决的?谢谢
rpk0124 2017-05-31
  • 打赏
  • 举报
回复
楼主 同问题,,你解决了吗
1、ETL(Extract-Transform-Load的缩写,即数据抽取、转换、装载的过程),对于企业或行业应用来说,我们经常会遇到各种数据的处理,转换,迁移,所以掌握一个ETL工具的使用,必不可少。Kettle作为ETL工具是非常强大和方便的。Kettle是一款国外开源的ETL工具,纯java编写,可以在Window、Linux、Unix上运行,绿色无需安装,数据抽取高效稳定。Kettle中文名称叫水壶,该项目的主程序员MATT希望把各种数据放到一个壶里,然后以一种指定的格式流出。Kettle这个ETL工具集,它允许你管理来自不同数据库的数据,通过提供一个图形化的用户环境来描述你想做什么,而不是你想怎么做。Kettle中有两种脚本文件,transformation和job,transformation完成针对数据的基础转换,job则完成整个工作流的控制。2、Clickhouse 是俄罗斯的“百度”Yandex公司在2016年开源的,一款针对大数据实时分析的高性能分布式数据库,与之对应的有hadoop生态hive,Vertica和百度出品的palo。这是战斗民族继nginx后,又开源的一款“核武器”。Hadoop 生态体系解决了大数据界的大部分问题,当然其也存在缺点。Hadoop 体系的最大短板在于数据处理时效性。基于 Hadoop 生态的数据处理场景大部分对时效要求不高,按照传统的做法一般是 T + 1 的数据时效。即 Trade + 1,数据产出在交易日 + 1 天。ClickHouse 的产生就是为了解决大数据量处理的时效性。独立于Hadoop生态圈。3、Superset 是一款由 Airbnb 开源的“现代化的企业级 BI(商业智能) Web 应用程序”,其通过创建和分享 dashboard,为数据分析提供了轻量级的数据查询和可视化方案。 Superset 的前端主要用到了 React 和 NVD3/D3,而后端则基于 Python 的 Flask 框架和 Pandas、SQLAlchemy 等依赖库,主要提供了这几方面的功能:01、集成数据查询功能,支持多种数据库,包括 MySQL、PostgresSQL、Oracle、SQL Server、SQLite、SparkSQL 等,并深度支持 Druid。02、通过 NVD3/D3 预定义了多种可视化图表,满足大部分的数据展示功能。如果还有其他需求,也可以自开发更多的图表类型,或者嵌入其他的 JavaScript 图表库(如 HighCharts、ECharts)。03、提供细粒度安全模型,可以在功能层面和数据层面进行访问控制。支持多种鉴权方式(如数据库、OpenID、LDAP、OAuth、REMOTE_USER 等)。 基于Kettle+Clickhouse+Superset构建亿级大数据实时分析平台课程将联合这三大开源工具,实现一个强大的实时分析平台。该系统以热门的互联网电商实际业务应用场景为案例讲解,对电商数据的常见实战指标处理使用kettle等工具进行了详尽讲解,具体指标包括:流量分析、新增用户分析、活跃用户分析订单分析、团购分析。能承载海量数据的实时分析,数据分析涵盖全端(PC、移动、小程序)应用。项目代码也是具有很高的商业价值的,大家可以根据自己的业务进行修改,便可以使用。本课程包含的技术:开发工具为:IDEAKettleClickhouseSupersetBinlogCanalKafkaHbaseHadoopZookeeperFlinkSpringBootSpringCouldPythonAnconaMySQL等 课程亮点:1.与企业对接、真实工业界产品2.强大的ETL工具Kettle全流程讲解实现3.ClickHouse高性能列式存储数据库4.Superset现代化的企业级BI可视化5.数据库实时同步解决方案6.集成Flink实时数据转换解决方案7.主流微服务SpringBoot后端系统8.互联网大数据企业热门技术栈9.支持海量数据的实时分析10.支持全端实时数据分析11.全程代码实操,提供全部代码和资料12.提供答疑和提供企业技术方案咨询 

246

社区成员

发帖
与我相关
我的任务
社区描述
讨论 Informatica 数据集成相关技术、数据隐私保护相关技术
社区管理员
  • 数据集成社区
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧