mongodb 的优化与使用spark连接

yisun123456 2017-10-23 02:32:52

1.千万级数据量的mongodb 结果集在百万级上，性能如何？
2.使用spark连接与处理mongodb数据，是否比JavaEE快？

...全文

849 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

小莫分享 2017-10-23

打赏
举报

回复

没玩过，就玩过mongodb感觉还行

mongodb strom spark java语言语言语法基础异常泛型内部类反射序列化 nIo 匿名类包装类优先级引用语言工具类库容器类集合链表 map 工具类系统类日期类数字类字符串+正则 ...

在Spark生态系统中，HDFS作为存储可以使用MongoDB来替代，构建成Spark+MongoDB生态系统。MongoDB作为文档存储型数据库，支持HDFS没有的索引概念，响应时间为毫秒级别，同时可以利用强大的aggregate函数做数据的筛选...

本课程环境：MongoDB 3.4.x CentOS 7.x 本课程为初级课程，围绕高阶聚合函数的使用、索引的介绍及原理解析、索引优化、性能优化、副本集搭建及分布式分片集群的搭建和原理解析来对MongoDB进行更深入的学习。...

在现代数据科学和大数据处理中，Spark和MongoDB之间的集成非常重要，可以帮助我们更高效地处理和分析数据。本文将从以下几个方面进行阐述：背景介绍核心概念与联系核心算法原理和具体操作步骤以及数学模型...

使用MongoDB，你最好保证你的热数据在你机器的内存大小之下，保证内存能容纳所有热数据。MongoDB的数据文件是采用的预分配模式，并且在Replication里面，Master和Replica Sets的非Arbiter节点都是会预先创建足够的空...

数据库开发

8,028

社区成员

1,361

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章