20-项目中spark脚本的编写和运行

zhchzh1000 2023-01-12 18:48:36

课时名称	课时知识点
20-项目中spark脚本的编写和运行	20-项目中spark脚本的编写和运行

...全文

86 回复打赏收藏举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

目前spark的Run on的hadoop版本大多是hadoop2以上，但是实际上各个公司的生产环境不尽相同，用到2.0

SPARK项目教程 1. 项目目录结构及介绍 SPARK项目的目录结构如下： SPARK/ ├── assets/ # 存储项目所需的资源文件 ├── .gitignore # 指定Git应该忽略的文件和目录 ├── .gitmodules # 定义子模块的信息 ├── LICENSE ...

数据经flum的抽取，将各个埋点的日志数据传入hive（进行处理sparksql处理）作为ods层，然后对ods层的数据进行清洗脱敏等然后当作tmp临时表，然后将tmp表进行合并生成dwd公共数据明细层，然后以dwd为基础，按天进行轻度汇总，粒度是一行信息代表的行为，例如一天下单的次数，以dws数据层为基础，按主题进行汇总，一个项目可以分为很多的主题，进行汇总，例如某个用户从注册开始到现在下单次数等，ads为各种统计表提供数据。我在这个项目主要清洗的式日志数据，日志数据传过来的json格式。

参考官网 spark-submit 在spark安装目录的bin目录下有一个spark-submit脚本，可以用来提交运行spark程序如果配置了spark的path可以直接使用spark-submit命令编译构建spark程序使用sbt 或者maven构建程序生成jar包 spark-submit的使用 spark-submit \ --class

Python相关视频讲解：python的or运算赋值用法用python编程Excel有没有用处？011_编程到底好玩在哪？查看python文件_输出py文件_cat_运行python文件_shel实现“azkaban python spark”教程整体流程首先，让我们来看一下整个实现“azkaban python...

张长志的课程社区_NO_1

1

社区成员

357

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章