大数据 JAVA spark 如何分析多文件protobuf gzp文件 实现报表统计

qq_37148509 2017-11-04 09:38:13
我本地有一个每5分钟会从服务器端下载生成的 protobuf zip 脚本(下载文件都是独立的,多文件。不是只有一个文件的 append) ,需要用什么思路构架并使用 spark这个分析系统 统计报表。
...全文
268 回复 打赏 收藏 转发到动态 举报
写回复
用AI写文章
回复
切换为时间正序
请发表友善的回复…
发表回复

1,258

社区成员

发帖
与我相关
我的任务
社区描述
Spark由Scala写成,是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于MapReduce算法实现的分布式计算。
社区管理员
  • Spark
  • shiter
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧