50、实时数据仓库之定时导入分区脚本编写以及定时任务设置

youfanedu 2023-01-13 03:17:12

课时名称	课时知识点
50、实时数据仓库之定时导入分区脚本编写以及定时任务设置	50、实时数据仓库之定时导入分区脚本编写以及定时任务设置

...全文

28 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

Hive数据分析和定时任务调度，也是Flask-Hive项目的大数据处理部分

对应的是Hive离线分析项目风秀直播平台这个项目是离线项目，一天算一次，定时脚本，夜间执行。第二天会算昨天的日志。 T+1一般都是分区表，一个分区存一天的数据。

大数据开发指南（实际项目），这个资源分想设置30分的，我的 ip最高只给了五分，为什么呀？好技术，大家得了希望可以提高友友们水平！

大数据简历内含三个项目：项目一：联通大数据项目项目名称：移动终端上网数据实时分析处理系统；开发环境： IDEA+eclipse+maven+jdk 系统架构： hadoop+zookeeper+flume+Spark+hive+mysql+sqoop+Oracle 项目二：联通大数据项目项目名称：信令数据实时分析处理系统；开发环境： IDEA+eclipse+maven+jdk 系统架构： hadoop+zookeeper+Spark+hive+mysql+sqoop+Oracle 项目三：网络爬虫项目名称：爬取电商网站商品信息开发环境： eclipse+mysql+maven+jdk+svn 系统架构： hadoop+zookeeper+httpclient+htmlcleaner+hbase+redis+solr+flume+kafka+storm

kettle使用问题处理汇总整理

徐传林的课程社区_NO_1

1

社区成员

855

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章