96_业务数仓_Sqoop导入数据

zhchzh1000 2023-01-12 18:50:14

课时名称	课时知识点
96_业务数仓_Sqoop导入数据	96_业务数仓_Sqoop导入数据

...全文

167 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

sqoop是大数据架构中常用的数据导入导出组件之一，只要简单的设置一些参数就可以将数据库的数据快速导入数据仓库中。但在实际使用过程中，常常会碰到一些问题，导致从数据库导入到数据仓库发生数据丢失的问题，以下将发生数据丢失的情况分为三种类型：一、工具使用者使用不善导致的 sqoop数据导入过程为：将mysql数据导入到hdfs文件路径，然后再从该hdfs文件路径load到hive表中。所以需要用户...

ETLETL: 是数据抽取（Extract）、数据转换（Transform）和数据加载（Load）的整个过程常用的ETL工具1.Apache Sqoop 是 Apache 软件基金会旗下的一个开源项目，旨在帮助用户高效地在 Hadoop 生态系统和关系型数据库之间传输大量数据2.可以将数据在关系型数据库（如MySQL、Oracle、PostgreSQL等）和 Hadoop生态系统（如HDFS、Hive、HBase等）中进行迁移sqoop官网更多内容,阅读文档Kettle。

Sqoop 是一个数据库数据导入导出工具Sqoop 即 sql + hadoopSqoop执行时，底层使用的MR中的map，所以输出文件的名字都是part-msqoop底层默认开启4个map任务，所以如果不指定的话就默认有四个文件sqoop分割也不是按照平均分割的，而是根据主键的值，除以 4 份（默认分割四个文件）根据每一份的跨度进行文件中值的存入Sqoop的。也就是说Sqoop的导入和导出功能是通过基于（只有map）的MapReduce作业实现的。

文章目录生成业务数据业务数仓通过sqoop导入HDFSODS层订单表订单详情表商品表用户表商品一级分类表商品二级分类表商品三级分类表支付流水表ODS层导入脚本DWD层订单表订单详情表用户表支付流水表商品表（增加分类）DWD层数据导入脚本DWS层之用户行为宽表用户行为宽表ADS层（需求：GMV成交总额）建表语句MySQL sql脚本用SQLyog调用不会报错,执行四个sql脚本生成业务数据 ini...

文章目录MysqlMySQL安装安装包准备安装MySQL配置MySQL业务数据生成连接MySQL生成业务数据sqoopsqoop使用场景Sqoop安装Mysql-hdfs 传输应用同步策略（mysql—数据仓库导数据）全量同步策略增量同步策略新增及变化策略特殊策略业务数据导入HDFS分析表同步策略脚本编写项目经验HiveHive安装部署Hive元数据配置到MySQL启动Hive初始化元数据库启动hive客户端 Mysql MySQL安装安装包准备卸载自带的Mysql-libs rpm -qa | g

张长志的课程社区_NO_5

1

社区成员

538

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章