传统Oracle和Hadoop处理数据的方式有什么区别和优缺点吗？

czmhao111 2017-02-18 08:09:40

求各位大神指点或者告诉我一些有关的文章
做毕设头都要大了

...全文

980 2 打赏收藏转发到动态举报

写回复

2 条回复

切换为时间正序

请发表友善的回复…

发表回复

jdsnhan 2017-02-18

打赏
举报

回复 1

类似oracle这样的关系型数据库，侧重事务性，侧重一致性 hadoop则侧重扩展性，侧重性能。比如，微信里提交各回复，要的是快，偶尔丢一条数据没大影响而银行办理业务，要的是数据准确，慢点行，一分钱都不能差

二月十六 2017-02-18

打赏
举报

回复

这俩不是一个东西。hadoop是一个分布式云处理架构，倾向于数据计算而oracle是一个关系型数据库，倾向于数据存储。Hadoop可以和Oracle结合一起做一个高并发处理的架构。

Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(Mysql、Postgresql...)间进行数据的传递，可以将一个关系型数据库（例如： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。项目开始于2009年，最早是作为Hadoop的一个第三方模块存在，后来为了让使用者能够快速部署，也为了让开发人员能够更快速的迭代开发，Sqoop独立成为一个Apache项目。目前主要有Sqoop1 和 Sqoop2 两大版本。 Sqoop简介大数据-sqoop全文共16页，当前为第1页。 Sqoop1 和 Sqoop2 结构图。左图是Sqoop1 架构，右图是Sqoop2 架构 Sqoop架构图大数据-sqoop全文共16页，当前为第2页。 Sqoop版本区别 Sqoop1与Sqoop2优缺点比较。优点比较： Sqoop1的优点——架构部署简单。 Sqoop2的优点——多种交互方式，命令行，web UI，rest API，conncetor集中化管理，所有的链接安装在Sqoop server上，完善权限管理机制，connector规范化，仅仅负责数据的读写。缺点比较： Sqoop1的缺点——命令行方式容易出错，格式紧耦合，无法支持所有数据类型，安全机制不够完善，例如密码暴漏，安装需要root权限，connector必须符合JDBC模型。 Sqoop2的缺点——架构稍复杂，配置部署更繁琐。大数据-sqoop全文共16页，当前为第3页。 Sqoop2和Sqoop1的功能性对比 Sqoop的版本区别功能 Sqoop1 Sqoop2 用于所有主要 RDBMS 的连接器支持不支持解决办法：使用已在以下数据库上执行测试的通用 JDBC 连接器： Microsoft SQL Server 、 PostgreSQL 、 MySQL 和 Oracle 。此连接器应在任何其它符合 JDBC 要求的数据库上运行。但是，性能可能无法与 Sqoop 中的专用连接器相比 Kerberos 安全集成支持不支持数据从 RDBMS 传输至 Hive 或 HBase 支持不支持解决办法：按照此两步方法操作。将数据从 RDBMS 导入 HDFS 在 Hive 中使用相应的工具和命令（例如 LOAD DATA 语句），手动将数据载入 Hive 或 Hbase 大数据-sqoop全文共16页，当前为第4页。 Sqoop版本区别功能 Sqoop1 Sqoop2 数据从 Hive 或 HBase 传输至 RDBMS 不支持解决办法：按照此两步方法操作。从 Hive 或 HBase 将数据提取至 HDFS （作为文本或 Avro 文件）使用 Sqoop 将上一步的输出导出至 RDBMS 不支持按照与 Sqoop 1 相同的解决方法操作大数据-sqoop全文共16页，当前为第5页。 Sqoop的用途 Sqoop可以在HDFS/Hive和关系型数据库之间进行数据的导入导出，其中主要使用了import和export这两个工具。这两个工具非常强大，提供了很多选项帮助我们完成数据的迁移和同步。比如，下面两个潜在的需求： 1、业务数据存放在关系数据库中，如果数据量达到一定规模后需要对其进行分析或统计，单纯使用关系数据库可能会成为瓶颈，这时可以将数据从业务数据库数据导入（import）到Hadoop平台进行离线分析。 2、对大规模的数据在Hadoop平台上进行分析以后，可能需要将结果同步到关系数据库中作为业务的辅助数据，这时候需要将Hadoop平台分析后的数据导出（export）到关系数据库。大数据-sqoop全文共16页，当前为第6页。提纲 1 sqoop简介 2 sqoop安装 3 sqoop数据操作大数据-sqoop全文共16页，当前为第7页。环境软件准备： 1：Centos 6.8虚拟机 2：含有导入数据的Mysql数据库 3：Sqoop 安装包下载地址： https://mirrors.cnnic.cn/apache/sqoop/ Sqoop安装大数据-sqoop全文共16页，当前为第8页。配置环境变量加入Sqoop的安装路径: 1、进入存放sqoop-1.4.7.tar.gz安装的目录执行下面的命令 sudo tar -zxvf /home/thinkgamer/下载/sqoop-1.4.7.tar.gz –C sudo mv sqoop-1.4.7/ sqoop 2、编辑/etc/profile文件，声明Sqoop的home路径和在path加入bin的路径： vi /etc/profile 在文件最底部添

传统Oracle和Hadoop处理资料的方式有什么区别和优缺点吗以下文字资料是由(历史新知网www.lishixinzhi.com)小编为大家搜集整理后发布的内容，让我们赶快一起来看一下吧！传统Oracle和Hadoop处理资料的方式有什么区别和优缺点吗hadoop的hdfs支援海量资料量储存 mapreduce支援对海量资料的分散式处理oracle虽然可以搭建丛集但是当资料量达到一定限度之后查...

Hbase作为Hadoop下的一个子项目，目前发展比较强大，和传统的关系型数据库oracle来比，两者各有优缺点，我们先看一个简单的表格。数据维护：比如更新，只是按照key值插入新的记录，旧版本还在，会在storefile合并过程中进行删除数据维护：增删查改非常方便，直接修改以上简单罗列了Hbase和Oracle两者的区别，还有其他更细节的地方这里就没有描述，可以从上面的对比看出，两者完全应用于不...

要了解什么是Hadoop，我们必须首先了解与大数据和传统处理系统有关的问题。前进，我们将讨论什么是Hadoop，以及Hadoop如何解决与大数据相关的问题。我们还将研究CERN案例研究，以突出使用Hadoop的好处。在之前的博客“大数据教程”中，我们已经详细讨论了大数据以及大数据的挑战。在此博客中，我们将讨论：传统方法的问题 Hadoop的演变 Hadoop的 Hadoop即用解...

Hbase作为hadoop下的一个子项目，目前发展比较强大，和传统的关系型数据库oracle来比，两者各有优缺点，我们先看一个简单的表格。数据维护：比如更新，只是按照key值插入新的记录，旧版本还在，会在storefile合并过程中进行删除数据维护：增删查改非常方便，直接修改以上简单罗列了Hbase和Oracle两者的区别，还有其他更细节的地方这里就没有描述，可以从上面的对比看出，两者完全应用于不...

基础和管理

17,377

社区成员

95,127

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章