大数据第三季--Pig（day1)

十八掌教育 2023-01-13 13:38:48

课程名称	适应人群
大数据第三季--Pig（day1)	所有人

大数据第三季--Pig（day1)

...全文

73 2 打赏收藏转发到动态举报

写回复

2 条回复

切换为时间正序

请发表友善的回复…

发表回复

ruhang 2019-12-08

打赏
举报

回复

请问老师，可以上传一下课件或笔记吗？后边貌似都没课件。

ruhang 2019-12-08

打赏
举报

回复

请问老师，可以上传一下课件或笔记吗？后边貌似都没课件。

大数据第三季--Pig（day1)

1）Spark。Spark是一个开源的集群计算环境，上文也讲了，Spark与Hadoop之间既相互补充，又相互竞争。Spark启用了内存分布数据集，在处理某些工作负载方面表现得更加优越，交互也会更加友好。（2）Kafka。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理各大网站或者App中用户的动作流数据。用户行为数据是后续进行业务分析和优化的重要数据资产，这些数据通常以处理日志和日志聚合的方式解决。是基于Lucene4.2大数据平台层级结构。......

一、初识数据产品经理 大数据4V特性 ①体量巨大（Volume）②处理速度快（Velocity）③类型多种多样（Variety）④价值大（Value）数据产品分类 ①企业内部使用的产品，如BI数据分析平台和推荐系统等 ②企业针对公司推出的商业型数据产品。如Google Analytics、GrowingIO、神测数据、BDP商业数据平台等。主要以平台行为为企业提供商业化服务。 ③每个用户均可使用的数据产品。如猫眼的实时票房和淘宝指数等。主要面向普通用户提供免费服务 ...

目录1 Hive调优策略1.1 架构优化1.2 参数优化1.3 SQL优化 1 Hive调优策略 Hive作为大数据领域常用的数据仓库组件，在设计和开发阶段需要注意效率。影响Hive效率的不仅仅是数据量过大；数据倾斜、数据冗余、job或I/O过多、MapReduce分配不合理等因素都对Hive的效率有影响。对Hive的调优既包含对HiveQL语句本身的优化，也包含Hive配置项和MR方面的调整。从以下三个方面展开：架构优化参数优化 SQL优化 1.1 架构优化执行引擎 Hive支持多种执行引

离线阶段刚去公司的时候，做数据的迁移，写sqoop脚本，（注意：这里可能会问到sqoop增量导入数据的方式式，一般会用到append追加的模式）把数据从oracle数据库导入到hive当中（注意： a.这里我们使用是shell脚本的方式，写完以后提交到oozie或azkaban这种调度工具上定时执行。b.这里有技术的问题，实际上把数据放到hive中是放到了hadoop的hdfs...

徐培成的课程社区_NO_6

1

社区成员

50

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章