大数据的几大主流框架？？

炭火舔着夜色 2021-09-02 10:13:02

大数据的几大主流框架？？

...全文

1821 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

weixin_38498942 2021-09-02

打赏
举报

回复

Storm（混合式的计算框架），Samza（Samza目前只支持JVM语言），Spark，Hadoop，Flink（还不算成熟）

【大数据】大数据前台页面 Ajax框架/RIA 大数据(big data)，或称巨量资料，指的是所涉及的资料量规模巨大到无法透过主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。【大数据】大数据前台页面 Ajax框架/RIA 【大数据】大数据前台页面 Ajax框架/RIA

大数据将打开各行各业的数据“潘多拉魔盒”。社交网站、电商巨头、电信运营商乃至金融、医疗、教育等行业，都将加入大数据的“淘金”热潮，政府部门同样会从大数据中获益匪浅。如何将海量数据应用于决策、营销和产品创新？如何利用大数据平台优化产品、流程和服务？如何利用大数据更科学地制定公共政策、实现社会治理？所有这一切，都离不开大数据治理。可以说，在大数据战略从顶层设计到底层实现的“落地”过程中，治理是基础，技术是承载，分析是手段，应用是目的。桑尼尔·索雷斯的《大数据治理》的翻译出版，正当其时。《大数据治理》一书较好地满足了理解大数据治理框架的需要，系统地阐述了大数据治理的各个版块，分析了五大类大数据的治理，考察了大数据治理在典型行业的实践，并深入浅出地介绍了当今主流的大数据技术与平台。该书具有一定的可参照性、可操作性和可读性，是大数据治理领域值得一读的参考书。

本文主要针对公共安全领域快速增长的海量数据处理需求,介绍了当前主流的大数据应用平台Hadoop框架,结合公安业务分析了Hadoop框架优势与应用场景,提出了公安大数据平台的建设思路以及RDBMS与Hadoop框架相结合的混合软件体系架构,从而兼顾海量数据的存储处理与OLTP的高实时性需求。

一、项目简介?本项目教程以国内电商巨头实际业务应用场景为依托，同时以阿里云ECS服务器为技术支持，紧跟大数据主流场景，对接企业实际需求，对电商数仓的常见实战指标进行了详尽讲解，让你迅速成长，获取最前沿的技术经验。?二、项目架构?版本框架：Flume、DateHub、DataWorks、MaxCompute、MySql以及QuickBI等；?Flume：大数据领域被广泛运用的日志采集框架；?DateHub：类似于传统大数据解决方案中Kafka的角色，提供了一个数据队列功能。对于离线计算，DataHub除了供了一个缓冲的队列作用。同时由于DataHub提供了各种与其他阿里云上下游产品的对接功能，所以DataHub又扮演了一个数据的分发枢纽工作；?据上传和下载通道，提供SQL及MapReduce等多种计算分析服务，同时还提供完善的安全解决方案；?DataWorks：是基于MaxCompute计算引擎，从工作室、车间到工具集都齐备的一站式大数据工厂，它能帮助你快速完成数据集成、开发、治理、服务、质量、安全等全套数据研发工作；?QuickBI & DataV：专为云上用户量身打造的新一代智能BI

这一讲，我们以天气预报的变化为例，讲解了大数据的特点及工作环节。经过这一讲的介绍，我希望你对什么是大数据有了一个初步的印象，最好还能够有一些自己的思考。大数据这个词并不是单纯地表示数据量大，同时它还有很多其他的特点，并且形成了一个概念体系。虽然大数据到现在并不成熟、并不完善，但是它确实已经深入到我们生活的各个部分。当然，尤其对于我们这些在互联网行业摸爬滚打的人，大数据切切实实地在我们的工作中占据着举足轻重的地位。

高通开发者论坛

2,853

社区成员

5,760

社区内容

发帖

与我相关

我的任务

人工智能物联网机器学习技术论坛（原bbs）北京·东城区

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章